spark
上等猪头肉
hadoop,hive,hbase,sqoop,flume.spark,kafka
展开
-
Spark-on-YARN运行Spark程序
1.官方文档http://spark.apache.org/docs/latest/running-on-yarn.html2.配置安装1.安装hadoop:需要安装HDFS模块和YARN模块,HDFS必须安装,spark运行时要把jar包存放到HDFS上。2.安装Spark:解压Spark安装程序到一台服务器上,修改spark-env.sh配置文件,spark程序将作为YARN的客户端...原创 2019-01-14 21:53:26 · 646 阅读 · 0 评论 -
Spark - 使用Yarn管理器开启历史日志服务、查看日志
使用Yarn 作为集群管理器,启动Spark 时,无法再从SparkUI-4040 端口查看相应的信息。只能从Hadoop 的Yarn、历史服务器查看,但是默认是没有开启。所以,这里展示如何配置开启历史服务器、查看日志。Hadoop-2.7.3Spark-2.4.01. HDFS 配置确保你的Hadoop 已经完成配置,并且已经能够正常启动。下面,在已有的Hadoop 配置上,增加配置。...翻译 2019-07-12 18:45:10 · 1131 阅读 · 0 评论