Spark 作为一个数据处理框架和计算引擎
3 Yarn 模式
3.1 解压缩文件
将 spark-2.1.1-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩,放置在指定位置,路径中。
tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/apps/
cd /opt/apps/
mv spark-2.1.1-bin-hadoop2.7 spark-yarn
3.2 修改配置文件
1) 修改 hadoop 配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发
<!--是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认
是 true -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认
是 true -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
2) 修改 conf/spark-env.sh,添加 JAVA_HOME 和 YARN_CONF_DIR 配置
export JAVA_HOME=/opt/apps/jdk
YARN_CONF_DIR=/opt/apps/hadoop-2.7.7/etc/hadoop
3) 启动 Hadoop
4)跑任务测试是不是成功
4.1)打印控制台
bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client ./examples/jars/spark-examples_2.11-2.1.1.jar 10
4.2)在yarn上看结果
bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster ./examples/jars/spark-examples_2.11-2.1.1.jar 10