前行配置:http://blog.csdn.net/yimingfei/article/details/75333030
包括Hadoop配置,JDK安装,SSH登录等。
1.Scala安装
http://www.scala-lang.org/download/
在网页下方:
解压
tar -zxf scala-2.12.2.tgz
移动文件夹到 usr/local 下
sudo mv scala-2.12.2 /usr/local
配置路径
vim ~/.bashrc
插入如下两行;
保存配置
source ~/.bashrc
检查版本
scala -version
进行验证:
scala
输入 :quit 退出
传送给其它子节点:
scp Downloads/scala-2.12.2.tgz hadoop@Slave1:Downloads/
scp Downloads/scala-2.12.2.tgz hadoop@Slave2:Downloads/
在其它节点完成以上操作。
2.Spark 配置
下载:
官网:http://spark.apache.org/downloads.html 根据自己的版本进行选择
我的选择:https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz
解压,移动到/usr/local 下面
sudo tar -zxf Downloads/spark-2.2.0-bin-hadoop2.7.tgz
sudo mv spark-2.2.0-bin-hadoop2.7 /usr/local
配置环境变量
vim ~/.bashrc
添加如下三行:(具体目录根据实际情况而定)
保存配置
source ~/.bashrc
传送到其它子节点:
scp Downloads/spark-2.2.0-bin-hadoop2.7.tgz hadoop@Slave1:/home/hadoop/
scp Downloads/spark-2.2.0-bin-hadoop2.7.tgz hadoop@Slave2:/home/hadoop/
在子节点上进行如上环境变量配置
配置文件:
进入文件夹:cd /usr/local/spark-2.2.0-bin-hadoop2.7/conf
创建文件spark_env.sh:sudo cp spark-env.sh.template spark-env.sh
进入修改:sudo vim spark-env.sh
添加如下信息:(具体路径 与 机器名 根据实际而定,我的主机名是Master)
创建文件slaves: sudo cp slaves.template slaves
打开文件: sudo vim slaves
添加子节点信息(我的两台子节点机器名分别是:Slave1,Slave2,主节点机器名为Master)
后来报错,可能是权限问题,于是我把spark文件夹改名为saprk,并移到了home/hadoop下面
进入目录,运行: sbin/start-all.sh
打开http://master:8080
关闭服务命令 sbin/stop-all.sh