一、实践环境
Ubuntu14.04 + JDK1.8.0_25 + Hadoop2.5.1+Scala2.11.6+Spark1.3.1
一共三台linux机器(virtualbox虚拟机,桥接网络配置静态ip),已经部署好hadoop完全分布式环境。
二、安装scala
1.下载scala-2.11.6.tgz
2.将scala-2.11.6.tgz解压到/home/jsj/scala目录下。
3.配置环境变量
sudo gedit /etc/profile
source /etc/profile
验证:
scala –version
三、安装spark
1.下载spark-1.3.1-bin-hadoop2.4.tgz
2.将spark-1.3.1-bin-hadoop2.4.tgz解压到/home/jsj/spark目录下。
3.配置环境变量
sudo gedit /etc/profile
source /etc/profile
4.修改/home/jsj/spark/spark-1.3.1-bin-hadoop2.4/conf目录下的配置文件
修改spark-env.sh如下:
修改slaves文件如下:
四、复制到其他节点
将master节点上的scala和spark复制到其他节点,使用命令:
scp –r /home/jsj/scalajsj@slave1:/home/jsj/scala
scp –r /home/jsj/scalajsj@slave2:/home/jsj/scala
scp –r /home/jsj/sparkjsj@slave1:/home/jsj/spark
scp –r /home/jsj/sparkjsj@slave2:/home/jsj/spark
五、启动Hadoop和Spark
1.在hadoop目录下执行命令sbin/start-all.sh启动hadoop,jps命令查看运行状态:
2.在spark目录下执行命令sbin/start-all.sh启动spark,jps命令查看运行状态:
3.在slave节点上使用jps命令查看运行状态:
4.打开浏览器查看集群状况: