jupyter notebook远程连接服务器运行pyspark

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/charie411/article/details/84071802

最近新接触服务器和pyspark,想方便操作,远程访问服务器用jupyter notebook运行pyspark。下面就是通过jupyter notebook远程连接linux服务器运行pyspark。

步骤流程

  1. xshell连上服务器后修改jupyter notebook配置文件
  2. Xshell配置隧道属性后连接服务器
  3. 服务器运行jupyter notebook
  4. 本地操作jupyter notebook

步骤一 xshell连上服务器后修改jupyter notebook配置文件:

1)创建并编辑config file,取消注释并设置IP,以及设置禁止自动打开浏览器。

 [root@a ~] # jupyter notebook --generate-config
 [root@a ~] # vim /root/.jupyter/jupyter_notebook_config.py

2)打开配置文件后找到如下设置,注意取消注释,并修改以下内容:

c.NotebookApp.ip = '*'            #重要。修改成"*"是为了不限定IP访问,如果指定某个IP运行,修改成该IP即可。如果此处维持为原始的localhost,服务器上运行jupyter otebook时就可能出现socket.error Errno 99 Cannot assign requested address报错。
c.NotebookApp.port = XXXX                     #重要。即对外提供访问的端口,比如8899,记住这个数
c.NotebookApp.open_browser = False            #False即启动不打开浏览器
c.NotebookApp.password = u'sha1:adba88f61595:b3e7057253915791a83ac47fdaf70da4aa1f2f6e' #重要。秘钥123
c.NotebookApp.notebook_dir = u'/hadoop/data_analysis'

ps,秘钥生成方法
本地电脑上 cmd-> ipython也行:

In [1]: from notebook.auth import passwd
In [2]: passwd()
    Enter password: 123
    Verify password: 123
Out[2]: 'sha1:adba88f61595:b3e7057253915791a83ac47fdaf70da4aa1f2f6e'     #这个秘钥就是上面的c.NotebookApp.password

步骤二 Xshell配置隧道属性:

xshell断开连接,在打开处配置SSH隧道属性,侦听端口为前面改的port,目标端口也写一样
简单步骤见图,原文由此入
在这里插入图片描述

步骤三 服务器运行jupyter notebook:

xshell连上服务器后,输入pyspark前面加上jupyter notebook的配置,然后不报错就好了。

[root@a ~] #PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark

步骤四 本地操作jupyter notebook:

在本地你的浏览器输入 http://localhost:8899/ 和秘钥123就好了。【不能丢掉http://】

参考

  1. http://www.cnblogs.com/NaughtyBaby/p/5469469.html
  2. https://segmentfault.com/a/1190000009076881
  3. https://blog.csdn.net/xmo_jiao/article/details/72674687
  4. https://blog.csdn.net/langhailove_2008/article/details/79110949
展开阅读全文

没有更多推荐了,返回首页