如何在ubuntu上使用docker安装单机spark
- 首先感谢来自《天天进步》作者提供参考
在docker上安装spark主要分为3个步骤:
1.安装docker
2.将带有spark的docker镜像装载到自己的docker group中
3.运行测试spark
1.首先你得自己安装docker,这个不难,自己查下百度就可以(链接)
2.因为从docker hub中pull来慢了,所以的手动加载docker image(提供 某度云链接—>资料在这<—–),下载过来
3.把spark.zip随意放到自己的文件夹中,并解压出spark.tar
4.使用docker命令本地load image
sudo docker load –input spark.tar
sudo docker load –input /home/../../spark.tar –>..代表路径
5.pull成功的话,使用docker images应该能看到了
6.然后使用docker交互式运行这个image
7.最后进入image中然后进入bin文件夹使用spark-shell,出现下面图片
那么恭喜,docker上安装spark成功了!!!
首次在csdn上写博客,哪里不对的地方,大家多指点,再次感谢来自《天天进步》作者提供参考