Spark on yarn 环境搭建原理和操作

 Spark 作为一个数据处理框架和计算引擎

3 Yarn 模式 

3.1 解压缩文件 
将 spark-2.1.1-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩，放置在指定位置，路径中。 

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/apps/

cd /opt/apps/

mv spark-2.1.1-bin-hadoop2.7 spark-yarn

3.2 修改配置文件 
1) 修改 hadoop 配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发

hadoop搭建

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认
是 true --> 
<property> 
 <name>yarn.nodemanager.pmem-check-enabled</name> 
 <value>false</value> 
</property> 
 
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认
是 true --> 
<property> 
 <name>yarn.nodemanager.vmem-check-enabled</name> 
 <value>false</value> 
</property> 

 2) 修改 conf/spark-env.sh，添加 JAVA_HOME 和 YARN_CONF_DIR 配置

export JAVA_HOME=/opt/apps/jdk
YARN_CONF_DIR=/opt/apps/hadoop-2.7.7/etc/hadoop

3） 启动 Hadoop

4）跑任务测试是不是成功

 4.1）打印控制台

bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client ./examples/jars/spark-examples_2.11-2.1.1.jar 10

4.2）在yarn上看结果

bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster ./examples/jars/spark-examples_2.11-2.1.1.jar 10