Spark与Scala配置

1.创建实例

2.在master上传hadoop，jdk，spark三个文件

 3.通过命令将三个文件解压到指定的目录下 

4.输入vim /etc/profile进入目录配置该环境变量

5.输入source/etc/profile让该目录配置的环境变量生效

 6.查看java版本

7.编辑Hadoop的环境配置文件 - hadoop-env.sh 执行命令：cd $HADOOP_HOME/etc/hadoop，进入hadoop配置目录

 存盘退出后，执行命令source hadoop-env.sh，让配置生效

10.编辑Hadoop核心配置文件 - core-site.xml

编辑HDFS配置文件 - hdfs-site.xml

编辑MapReduce配置文件 - mapred-site.xml

 

 编辑yarn配置文件 - yarn-site.xml

11.执行命令：scp -r $HADOOP_HOME root@slave1:$HADOOP_HOME分发到其他的节点上

scp /etc/profile root@slave1:/etc/profile讲配置文件分发到其他节点，到其他节点输入source /etc/profile让配置文件生效

12.   在master的虚拟机上启动hadoop服务器集群

• 执行命令：start-dfs.sh，启动hdfs服务
• 

 在查看进程

到其他节点上查看进程

 

13.配置Spark Standalone集群

  将spark安装包解压到指定目录

  配置spark环境变量

存盘退出后，执行命令：source /etc/profile，让配置生效

14.编辑spark环境配置文件 - spark-env.sh

进入spark配置目录后，执行命令：cp spark-env.sh.template spark-env.sh与vim spark-env.sh

15.创建slaves文件，添加从节点

• 执行命令：vim slaves，添加两个从节点主机名
• 

16.在其他虚拟机上安装配置Spark

把master虚拟机上安装的spark分发给其他节点虚拟机

执行命令：scp -r $SPARK_HOME root@slave1:$SPARK_HOME

在其他虚拟机上，进入spark配置目录，执行命令：source spark-env.sh

17.启动Spark Standalone集群 

启动hadoop的dfs服务

 

启动Spark集群

• 执行命令：start-all.sh
• 

  启动Scala版Spark Shell

• 执行命令：spark-shell --master spark://master:7077
•