垫场演出:如何在ipython Notebook里运行R?(一行命令搞定版)从去年开始,我抛弃了mathmatica,eviews,matlab之类的商业统计和数学软件,开始拥抱开源数据分析。这一方面是因为工作需要,想掌握一门更通用的编程语言,一方面也因为和所有中国的分析师一样,我用的是盗版的eviews和matlab,因此是完全没有客户支持。为了解决日常问题而花的研究文档和stackoverflow上的工作量,并不比用开源软件更少。而开源的好处是,实在查不到解决方案了,至少我还可以去看源代码,虽然看不看得懂可以再讨论,但 I‘d like to have the option。
大家都知道开源数据分析的两大利器,IPython 和 R。一般来说,IPython从Python发展而来,更倾向于科学计算。互联网数据分析更喜欢用。而R是统计学家发展出的一门语言,在金融、经济和社会科学领域应用更广泛。我更喜欢R的数据解构和与数学相关的syntax,在读完R的入门教程之后,很多时候我都不需要去查文档,猜都能猜到我想用的一些函数名称(lag(),diff())。另一方面,我也喜欢Ipython Notebook的交互方式,在富文本的展示效果和使用体验上,R markdown简直就是个不成熟的玩具,更何况Python还是个更成熟的通用编程语言,除了数据以外,几乎可以和这个世界的一切协议进行通信。之前,我一直是在用Rstudio调试R代码,用Anaconda的IPython Notebook或者spyder调试Python代码,有必要的话再通过Rpy2之类的接口综合起来。
但是8月底,收到了Anaconda的一封邮件:Ipython Notebook升级到4.0,改名Jupyter。而且,可以开始用conda管理R的程序包了,Anaconda正式支持R!下载安装Anaconda,然后一条命令:
conda create -n my-r-env -c r r-essentials
就可以创建R的虚拟环境,安装由Anaconda维护的R发行版本r-essentials 然后在ipython Notebook里面用R的语法调试、运行R程序!Windows,Linux,OS X全都可用!how cool is that!再见啦,rpy2。
正场:如何在云端运行Jupyter Notebook?
成功在ipython里面创建了R的环境之后,我又想尝试之前的一个想法了,部署一个云端的计算服务器。传统行业还没有进入大数据时代,数据量相对较小,绝大部分运算任务都是在我的笔记本上解决。但因为开始用Python了,也开始自己写爬虫、甚至想做自己的云端数据可视化方案(否则怎么向非码农的领导展示花了这么多时间的研究成果?代码?)。当然,rstudio拥有rstudio server版本,也可以在云端运行。但我觉得ipython的界面是一个更漂亮的前端页面,支持markdown功能,可以写入很多注释文档,以便非码农使用。另一方面,ipython支持bokeh,一个html5的数据可视化方案。
google了一阵之后发现,目前网上所有在云端安装ipython notebook的方案都是基于ipython 2.x的。而在ipython3.0之后,原有的配置方法已经不可用,只好自己去研究文档。经过几个小时的试错,终于在云端开始跑起了。
以下是主要步骤,前提是,拥有一个虚拟机,并且有ssh账号登陆。没有的同学可以自己在阿里云之类的服务商处申请,个人推荐”1元免费试用“1个月的微软云。一般这些主机服务商都会提供一个基本的教程,因此从设置主机直到创建账号,ssh登陆都应该不是什么问题。
接下来,下载miniconda,一个科学计算环境管理软件,Anaconda的最小发型版本(假设运行的是64位Linux 虚拟机):
wget "https://repo.continuum.io/miniconda/Miniconda-latest-Linux-x86_64.sh"
然后安装:
sudo bash Miniconda-latest-Linux-x86_64.sh
然后通过miniconda的环境管理软件,conda安装必要被ipython和ipython-notebook.
conda install ipython
conda install ipython-notebook
接下来,我们需要创建一个名为nbserver的配置。
ipython profile create nbserver
这将创建一个文件夹,其中包含一些原始的配置文件。我们跳转到这个文件夹进行一些配置
cd ~/.ipython/profile_nbserver/
由于ipython Notebook要求https连接,因此我们需要创建一个ssl证书。
openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem
命令执行后根据提示输入信息就好,当然,这个证书并未获得认证,因此用chrome之类的浏览器访问的时候会得到一些错误信息,这个问题我们一会儿说。接下来我们创建一个密文的密码。
python -c "import IPython;print IPython.lib.passwd()"
运行之后进入一个创建密码hash值的小程序,根据提示输入你想用的安全口令:
Enter password:
Verify password:
sha1:b86e933199ad:a02e9592e59723da722.. #这是我的密码的hash值,后段被删除,你的密码得到的结果应该不同
然后开始编辑配置文件,通过vi编辑文件的命令如下:
vi ipython_notebook_config.py
这个文件可能不存在,那么通过vi创建一个,配置文件的内容如下:
c = get_config()
# 所有matplotlib的图像都通过iline的方式显示
c.IPKernelApp.pylab = 'inline'
# 这一行指向我们刚刚创建的ssl证书
c.NotebookApp.certfile = u'/home/azureuser/.ipython/profile_nbserver/mycert.pem'
# 给出刚刚创建的密码的哈希值
c.NotebookApp.password = u'sha1:b86e933199ad:a02e9592e5 etc... '
c.NotebookApp.ip = '*'
# 给出运行的端口,ipython默认为8888
c.NotebookApp.port = 8888
# 禁止在运行ipython的同时弹出浏览器
c.NotebookApp.open_browser = False
编辑完成以后按两次shift+z 保存退出
配置完毕以后就可以运行ipython Notebook的服务端了:
jupyter notebook --config=/home/azureuser/.ipython/profile_nbserver/ipython_notebook_config.py #给出你刚才创建的nbserver路径,这里为微软azure云默认的情况
当然,微软云还需要配置一下服务器端的endpoint,将云主机的https端口(443)指向内部的8888端口。
在你的浏览器地址栏输入:
https://www.youappdomain.com
这时候会遇到https提示根证书并非认证证书,不用管这个提示继续进入,voila,你的ipython Notebook server架好啦!
输入你刚才创建的密码,就可以开始像在本地一样使用了。
附注:这是我的第一篇技术博客,之前遇到各种技术问题就在网上搜,stackoverflow、quora和知乎的热心人们分享的技术经验都给了我很大的帮助。因为几乎从来没遇到过别人没有解决过的问题,一直没想到要写技术分享的博客,直到这次配置Jupyter Notebook。这好像是中英文世界里第一个在云端配置Jupyter Notebook 4.0的教程,同时也是第一个在中文世界里传播r-essential这个好消息的博客文章。 let me know what you think.