jupyter配置scala和Spark学习环境
简介:
Jupyter Notebook(此前被称为 IPython Notebook)是一个交互式笔记本,支持运行 40 多种编程语言。Jupyter Notebook 的本质是一个 Web 应用程序,便于创建和共享文学化程序文档,支持实时代码,数学方程,可视化和 markdown。 用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等
在学习Python的时候无意见发现了这个,很特别,很好用的一个东西。可以直观的展示代码和运行结果等等。后来发现它支持scala语言和Spark基本的学习。所以特别的整理了下配置。
安装过程记录
Anaconda配置
安装Anaconda。【Anaconda附带了很多东西,Python的很多用于科研的包、Ipython、Jupyter、Spider等。安装过程略。安装很简单,不过建议网上再搜索下。
配置jupyter
这里配置一下jupyter的登录。因为默认的情况下,启动Jupyter后,会打开一个浏览器页面。不过,当你一不小心把它关闭后,你需要去终端复制那个token。。比较累,比较烦。
打开Ipython。获取密码。
In [1]: from IPython.lib import passwd
In [2]: passwd()
#建议输入密码的时候,不输入~省的下一次在其他浏览器页面打开的时候,还要再输密码
Enter password:
Verify password:
Out[2]: 'sha1:0e422dfccef2:84cfbcbb3ef95872fb8e23be3999c123f862d856'
复制这个:
sha1:0e422dfccef2:84cfbcbb3ef95872fb8e23be3999c123f862d856
接下来生成秘钥:
openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem
创建一个服务器配置:
ipython profile create nbserver
创建jupyter的配置文件:
jupyter notebook --generate-config
vim /root/.jupyter/jupyter_notebook_config.py
#修改内容
c.NotebookApp.password = u'sha1:。。。。。。。。。。。' 这个填写之前复制的那个
c.NotebookApp.certfile = u'/root/.jupyter/mycert.pem' 这个其实我不知道干嘛的。。
c.NotebookApp.ip = '*'
c.NotebookApp.port = 9999
之后就可以启动了~[可以把这个放在后台~]
jupyter notebook
配置scala支持
这个需要特别的安装下,安装过程并不复杂
建议读这个:
https://github.com/alexarchambault/jupyter-scala
把它clone下来,然后Simply run the jupyter-scala
script of this repository to install the kernel. Launch it with --help
to list available (non mandatory) options.
Once installed, the kernel should be listed by jupyter kernelspec list
.
配置Spark
Spark 需要提前安装好,版本不要太老~~
此处使用Apache toree给notebook安装Scala kernel
toree官网下载页,不需要解压,直接使用pip install安装
wget https://dist.apache.org/repos/dist/dev/incubator/toree/0.2.0/snapshots/dev1/toree-pip/toree-0.2.0.dev1.tar.gz
pip install toree-0.2.0.dev1.tar.gz
接着使用一下命令安装,其中spark://localhost.localdomain:7077为你的spark地址,/root/spark为你的spark安装目录
jupyter toree install --spark_opts='--master=spark://localhost.localdomain:7077' --user --kernel_name=Spark2.0 --spark_home=/root/spark11
测试是否安装成功,列出kernel列表,
python2 /home/youxiangyang/anaconda2/lib/python2.7/site-packages/ipykernel/resources
scala /home/youxiangyang/.local/share/jupyter/kernels/scala
spark1.6.2_scala /home/youxiangyang/.local/share/jupyter/kernels/spark1.6.2_scala
运行jupyter,你就可以看到在新建项目那里多出了spark和scala。。
可能还会有较多的问题没有处理完~(其实这时候,笔者已经可以开始用了,暂时还没有遇到问题,如果大家在使用的时候发现了,可以留言讨论)