pyspark安装系列（3）：linux系统远程客户端操作jupyter notebook（详细）

前言：

前两篇文章详细介绍了如何在Linux系统安装单机版Spark，以及如何实现在spark里操作Anaconda，具体见链接：
pyspark安装系列（1）：Linux系统安装单机版Spark
pyspark安装系列（2）：Spark里使用anaconda（详细部署流程）

说明：

有了spark的计算环境，可以操作anaconda了，然而比较难受的是在Python shell中写代码，然后在word中写文档来做记录和说明。通常是写完代码，再写文档的时候还得重头回顾一遍代码。过程太过繁琐，特别是有时候需要查看或者回顾算法分析的中间结果，就需要重新跑代码。
为了更加方便和快捷，所以就需要我所熟悉的Jupyter Notebook，它能将说明文本、数学方程、代码和可视化内容全部组合到一个易于共享的文档中。幸运的是我已经安装的Anaconda已经附带有Jupyter notebook，使我能够在默认环境下使用 notebook。
本文主要围绕如何实现在windows电脑上通过浏览器远程连接Linux服务器的jupyter notebook。

步骤：

要实现所描述的功能，需要在Liunx服务器端，以及windows客户端分别进行配置，具体步骤如下：

一、Linux服务器端配置

第一步：输入ipython。
得到：

第二步：创建远程连接密码。
在上一步的基础上输入：

In [1]: from notebook.auth import passwd; passwd()

输入两次密码，将得到一个字符串，
比如：‘sha1:3dec3e879823:06b051d35189879a41fecb2f9dd138abe2eea4d9’，该终端不要关掉，复制该字符串，后面会用到。

第三步：生成jupyter的配置文件。
输入：

jupyter notebook --generate-config

将会在home目录下生成一个隐藏文件夹.jupyter，该文件夹中有一个jupyter的配置文件；

第四步：配置jupyter文件。
打开第三步生成的jupyter配置文件，
输入：

vim ~/.jupyter/jupyter_notebook_config.py

在文件底部添加

c.NotebookApp.ip = '*'
c.NotebookApp.password = u'sha1:3dec3e879823:06b051d35189879a41fecb2f9dd138abe2eea4d9'
c.NotebookApp.port = 9001
c.InteractiveShellApp.matplotlib = 'inline'

其中：

• 'sha1:3dec3e879823:06b051d35189879a41fecb2f9dd138abe2eea4d9’改成自己电脑上生成的密钥字符串，见第二步。
• 9001为定义的端口号。

第五步：设置（可选）
设置jupyter notebook在后台不间断运行，且配置成错误信息输出到屏幕
输入：

nohup jupyter notebook >/dev/null 2>&1 &

二、windows客户端配置

第一步：安装windows远程ssh登录Linux工具。
需要安装一个windows远程ssh登录Linux的工具，Xshell，或者SecureCRT都可以，这两个工具的安装简单，因为我电脑上有Xshell就选的Xshell。

第二步：新建连接。
Xshell或SecureCRT第一次启动需要新建连接，输入服务器IP地址、用户名、密码。见下图：

第三步：添加隧道。
在Xshell的菜单栏，点击文件-属性-SSH-隧道-添加，侦听端口输入9001，目标主机设为服务器的IP地址，目标端口设为9001，“说明”中填入jupyter，确定。见下图：

第四步：启动 jupyter。
可以在第二步成功远程登录命令行窗口中输入 ：

jupyter notebook

或者在服务器sheel窗口输入：

pyspark

或者

jupyter notebook

第五步：windows浏览器远程链接。
打开本地windows的浏览器，地址栏输入服务器IP:9001，回车，输入Linux服务器端配置时第二步设置的密码，回车。
然后，呃……jupyter界面没出来，报错。见下图：

注意查看运行了 $ jupyter notebook的窗口中的内容，注意到第二行说明9001端口被使用了，第七行提示Jupyter Notebook在9002端口运行，这样的话就需要更改第三步中的本机端口设置为9002，然后在浏览器中也是输入9002。
重复第五步，浏览器上jupyter成功显示，输入密码可见下图。

新建一个脚本文件，简单测试。

end…

参考：
在服务器上配置jupyter并在本地浏览器无法打开时，怎么办？ No web browser found: could not locate runnable browser.
在windows上通过浏览器远程连接Linux服务器的jupyter