机器环境
- centos7
- 内存4G
拉取镜像
- 镜像有2G多,下载时间比较长 = =!
docker pull sequenceiq/spark:1.6.0
启动镜像
- 启动前,在/etc/hosts文件中,添加上:
本机IP sandbox
- 正式启动
docker run -it -p 8088:8088 -p 8042:8042 -h sandbox sequenceiq/spark:1.6.0 bash
- 出现 bash-4.1#> 证明启动成功
测试Spark例子
- 执行
spark-shell \
--master yarn-client \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1
- 出现 scala> 说明启动成功
- 再执行
sc.parallelize(1 to 1000).count()
- 结果: