spark
上等猪头肉
hadoop,hive,hbase,sqoop,flume.spark,kafka
展开
-
Spark-on-YARN运行Spark程序
1.官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html 2.配置安装 1.安装hadoop:需要安装HDFS模块和YARN模块,HDFS必须安装,spark运行时要把jar包存放到HDFS上。 2.安装Spark:解压Spark安装程序到一台服务器上,修改spark-env.sh配置文件,spark程序将作为YARN的客户端...原创 2019-01-14 21:53:26 · 604 阅读 · 0 评论 -
Spark - 使用Yarn管理器开启历史日志服务、查看日志
使用Yarn 作为集群管理器,启动Spark 时,无法再从SparkUI-4040 端口查看相应的信息。只能从Hadoop 的Yarn、历史服务器查看,但是默认是没有开启。所以,这里展示如何配置开启历史服务器、查看日志。 Hadoop-2.7.3 Spark-2.4.0 1. HDFS 配置 确保你的Hadoop 已经完成配置,并且已经能够正常启动。 下面,在已有的Hadoop 配置上,增加配置。...翻译 2019-07-12 18:45:10 · 1105 阅读 · 0 评论