mac构建大数据伪分布式学习环境（七）-部署Scala及Spark学习环境

1.解压scala 2.12.11

2.配置环境变量

exportSCALA_HOME=/data/soft/scala-2.12.11

exportPATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$PATH

10.部署Spark

1.解压spark-2.4.3-bin-hadoop2.7.tgz

tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz

2.重命名spark-env.sh.template 并配置

mv spark-env.sh.template spark-env.sh

vi spark-env.sh

exportJAVA_HOME=/data/soft/jdk1.8

exportSPARK_MASTER_HOST=bigdata01

3.重命名slaves.template 并配置

bigdata

4.启动Spark

5.8080端口查看

6.配置Spark on Yarn

在spark-env.sh下添加一行

export HADOOP_CONF_DIR=/data/soft/hadoop-3.2.0/etc/hadoop

7.往Hadoop集群中提交Spark任务测试

bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster examples/jars/spark-examples_2.11-2.4.3.jar 2