Spark1.0.0 集群配置

1.   机器：

（1）master ：主机名：hadoop-1         IP：202.193.74.111

（2）slave1 ：主机名： hadoop-2         IP：202.193.74.112

（3）slave2 ：主机名： hadoop-3         IP：202.193.74.113

已经部署好了hadoop分布式集群环境，hadoop版本为1.1.2（32） ，JDK版本为1.6

2.   Spark需要安装的软件

（1）    Spark版本 ：spark-1.0.0-bin-hadoop1.tgz ，下载地址为：http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop1.tgz

（2）    Scala版本：Scala2.10.4      

下载地址为：http://www.scala-lang.org/download/2.10.4.html

 

 

3.   安装Scala：

（1）    通过WinScp将Scala-2.10.4.tgz拷贝到Master主机上，目录为： /root/Dowloads/

 

 

（2）    进入/root/Downloads/目录，可以看到刚刚拷贝的scala压缩包：

（3）    创建目录mkdir   /usr/lib/scala ，将/root/Downloads/下的scala压缩包拷贝到该目录：