在Linux Centos7 上使用pyspark Notebook

首先安装anaconda 参考:

https://blog.csdn.net/levy_cui/article/details/80898739

https://blog.csdn.net/levy_cui/article/details/51143153

anaconda安装时已经有了jupyter notebook，所以只需要配置好就可以！

一、添加root启动权限

如果输入  jupyter notebook --generate-config提示：
Running as root is not recommended. Use –allow-root to bypass.
则在后边加上 --allow-root
jupyter notebook --generate-config --allow-root

二、修改配置文件

vim /root/.jupyter/jupyter_notebook_config.py
将c.NotebookApp.allow_root = False前边的  '#'去掉，在把False修改为True

三、生成登录密码

因为采用的服务器环境所有建议生成一个密码

输入命令ipython
from notebook.auth import passwd
passwd()
Enter password:  输入一次密码
Verify password:  再次输入密码
sha1：ae9e423f48ae:a8................................

四、再次修改配置文件

vi /root/.jupyter/jupyter_notebook_config.py
c.NotebookApp.ip='*'
c.NotebookApp.password = u'sha1:ae9e423f48ae:a8................................'
c.NotebookApp.open_browser = False
c.NotebookApp.port =8888    #任意空闲端口，使用默认8888也可以

五、启动

 jupyter notebook  --ip=0.0.0.0 --no-browser --allow-root
 如果打开输入地址无法访问则需要关闭一下防火墙
 systemctl stop firewalld.service  #关闭firewall
 systemctl disable firewalld.service #禁止firewall开机启动
 firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

在阿里安全组规则里开放你的开放端口比如这里的8888

最后再次启动命令行出现：

浏览器输入http://IP地址:8888 出现notebook界面这样就成功了

 

六、在notebook上使用pyspark，输入命令：

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" MASTER=local[*] pyspark