一、安装配置scale
1.下载scala 2.11.8
http://www.scala-lang.org/files/archive/scala-2.11.8.tgz
tar -zxf scala-2.11.8.tgz –C ./app
2.配置环境变量
vim /etc/profile(root用户)
# 在文件末尾位置加入以下代码
export SCALA_HOME=/usr/lib/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
3.生效环境变量
source /etc/profile(hadoop用户)
4.测试环境变量配置是否成功
scala命令进入scala命令行,ctrl + c强制退出
二、安装配置spark
1.下载spark2.0
方法一:https://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz
方法二:https://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-without-hadoop.tgz
还需要下载方法一的压缩包,
将方法一jars文件夹下的包除了图中所示的这几个包,全部拷贝到without hadoop的jars中,然后图中那些包除了hadoop-clent这个包其他包都能够在hadoop2.8.0中找到2.8.0的版本jar包,将这些jar包拷贝到without hadoop的jars中,然后去maven官网(http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client)下载hadoop-clent-2.8.0.jar这个包,下载完成后拷贝到withouthadoop的jars中。
2.配置环境变量
vim /etc/profile
# 在文件末尾位置加入以下代码
exportSPARK_HOME=$HOME/spark-2.0.0-bin-hadoop2.7
3.修改spark-2.0.0-bin-hadoop2.7/conf/spark-env.sh文件(从节点主节点都需要修改)
如果没有则进行复制cp spark-env.sh.template spark-env.sh
#端口号
SPARK_MASTER_WEBUI_PORT=8085
exportSCALA_HOME=/home/node1/app/scala-2.11.8
exportJAVA_HOME=/home/node1/app/jdk1.8.0_131
export SPARK_MASTER_IP=192.168.0.194
export SPARK_WORKER_MEMORY=1024m
export master=spark://192.168.0.194:7070
4.主节点还需配置
vi /etc/hosts
内容:
192.168.0.192 slave1
192.168.0.193 slave2
192.168.0.194 master
三、启动
1.计算Pi
./bin/run-example SparkPi
四、启动spark集群
sbin/start-all.sh
jps显示