搭建spark-hadoop集群

1\下载工程
wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.3.0/hadoop-2.3.0.tar.gz
wget http://mirror.bit.edu.cn/apache/spark/spark-1.1.0/spark-1.1.0-bin-hadoop2.3.tgz


机器之间无密码登陆通信
在A、B、C机器上生成公私钥： ssh-keygen  -t rsa -f ~/.ssh/id_rsa
将A机器的 ~/.ssh/id_rsa.pub 覆盖 B C 机器的~/.ssh/authorized_keys文件即可，A机器即可免登陆到BC机器上。


2、安装Scala


sudo mkdir /usr/lib/scala
tar -zxf scala-2.10.4.tgz 
sudo mv scala-2.10.4 /usr/lib/scala/
vim ~/.bashrc 编辑 添加Scala全局声明：export SCALA_HOME=/usr/lib/scala/scala-2.10.4
修改生效：source ~/.bashrc
测试： scala -version


3、配置hadoop
ABC 三台机器vi etc/hadoop/core-site.xml 
添加：
        <property>
                <name>fs.default.name</name>
                <value>hdfs://10.232.132.130:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/netboy/hadoop/hadoop-2.3.0/tmp</value>
        </property>
ABC 三台机器： vim etc/hadoop/hdfs-site.xml 
添加：
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.name.dir</name>
                <value>/home/netboy/hadoop/hadoop-2.3.0/tmp/hdfs/name</value>
        </property>
        <property>
                <name>dfs.data.dir</name>
                <value>/home/netboy/hadoop/hadoop-2.3.0/tmp/hdfs/data</value>
        </property>
配置masters和slaves：
vi etc/hadoop/masters 
vi etc/hadoop/slaves

通过master是Hadoop集群文件系统格式化：
在master上： 执行 hadoop namenode -format
在master上启动集群：
sh sbin/start-all.sh 


4、 配置spark
vim ~/.bashrc 编辑 添加spark全局声明：export SPARK_HOME=/home/netboy/spark/spark-1.1.0-bin-hadoop2.3
mv conf/spark-env.sh.template  conf/spark-env.sh
vi  conf/spark-env.sh

vi conf/spark-defaults.conf 

5、启动 使用单机单核模式

 ../bin/spark-submit --class "com.netboy.spark.demo.SimpleApp" --master local[1]

使用 spark的自身集群模式启动

 ../bin/spark-submit --class "com.netboy.spark.demo.SimpleApp" --master  spark://10.**.**.189:7077

具体可以参看wiki  http://spark.apache.org/docs/1.0.2/