基于docker安装spark

1.首先下载镜像并启动：

docker pull sequenceiq/spark:1.5.1
sudo docker run -it sequenceiq/spark:1.5.1 bash

2.修改配置
首先用ifconfig得到ip地址，我的ip是172.17.0.109，然后：

bash-4.1# cd /usr/local/spark 
bash-4.1# cp conf/spark-env.sh.template conf/spark-env.sh 
bash-4.1# vi conf/spark-env.sh

添加两行代码：

export SPARK_LOCAL_IP=172.17.0.109
export SPARK_MASTER_IP=172.17.0.109

3然后启动master 跟slave：

bash-4.1# ./sbin/start-master.sh 
bash-4.1# ./sbin/start-slave.sh 172.17.0.109:7077

这里遇到过报内存不够的，通过配置swap区域来解决
配置swap参考的文章（修改主机的swap就可以了）：
http://blog.csdn.net/lucky_liuxiang/article/details/47166957
浏览器打开（你的ip：8080） 可以看到如下spark各节点的状态。

4.用spark-sumit提交一个应用运行一下：

/usr/local/spark/bin/spark-submit --master spark://172.17.0.3:7077 --class org.apache.spark.examples.SparkPi /usr/local/spark/lib/spark-examples-1.5.1-hadoop2.6.0.jar 2