最近突然想回顾下在悉大学的Spark内容,但是一回想到那个Spark的安装全内容,就感觉累了,难了,繁琐了。然后我就突然想起在悉大学云计算时有位同学说可以用Docker安装Spark。因此,让我们看看是否真的可以用Docker下载。
首先我会默认大家已经学会了Docker的基本操作,如果不会的话,请看我的这个Docker系列
跟着做
下载镜像
我们先去下载jupyter/pyspark-notebook
而这,只需要我们执行一条命令:
docker run -p 8888:8888 jupyter/pyspark-notebook
正常的话,大伙应该能看到输出日志,
打开日志里提示的URL,即可进入jupyter notebook界面,然后我们可以测试下能否使用Pyspark:
import pyspark
sc