数据分析工具 python matlab_用Python做数据分析 1|工具及学习资源

这段时间学了点Python的基础，主要是往数据分析及可视化方面的应用，希望以后能把它作为生产力工具。我不是计算机相关专业，这些基本上是一点点查的，现在大概小结下工具和学习资源，算是入门总结吧。文章主要包括Anaconda，jupyter notebook, spyder, VS code的基础使用。学习资源在最后。

1 MatLab, Python, R 对比

在数据处理和可视化方面，MatLab，Python和R语言应该是用得比较多的了吧。关于这三者的对比网上也到处都是，感觉Scipy lecture notes里给的对比还比较客观。组里用的Matlab，刚学了点Python，R不是太清楚，但是还是说说自己的看法吧。

Matlab我其实没学过，就拿组里现成的脚本在用的。没学这个是因为”贵“——说实话有点后悔，现在还是得用这个，因为方便跟组里人交流。Matlab毕竟花了钱，有专门一帮人做，而且也产品也很成熟，运行的速度也比较快。

Python和R都是免费的。Python本身是编程语言，数据分析和可视化只是它的一个应用，在科学界应该也算用的比较多的了。Python的社区非常大，所以遇到问题查下基本都能解决。Python语言也还比较容易学，相应的包也非常多，不过有些包还不是很成熟。

R语言主要是用作数据分析和可视化的。R应该也还不太难学，其主要是针对数据分析的，可以说有相对比较专注的方向。R，R studio，再加上声名显赫的ggplot2作图包应该是很多人的组合。R的统计分析比现在的Python包也好很多。R的用户社区比Python小(但专业上更统一？)。

2 Python的发行版本

Python现在有两种相对独立的版本，2.x和3.x，两者语言上有些许不同。现在来说，2.x版虽然还在更新，但正在逐步被3.x版替代。所以如果不是要使用一些较老的包，可以直接上3.x。

Python也有很对发行版本。因为其是开源的，不同版本对其做了不同的适应性修改。因为我主要是用做数据处理，用的是相应的Anaconda的。当然，直接安装官方发行版也可以。

Anaconda号称是最受欢迎的Python数据科学平台。安装后直接有python已经常用的数据科学包，如numpy, matplotlib, pandas, scipy。对于非计算机相关专业的来说，Anaconda提供的环境和包的管理功能算是必须的了，特别是需要python 2.x和3.x同时使用的。R也能在Anaconda上用。

3 工具的使用

Anaconda安装后会有命令行的Anaconda Prompt和界面化的Anaconda Navigator。两者都可以用来对Anaconda进行管理，不过命令行的prompt更加方便，习惯后会喜欢上命令行的。软件安装后也会自动安装python和一些数据处理包在base环境里，也包含Jupyter notebook, Spyder等的工具，这就可以直接使用了(由于包含的包比较多，安装包也就比较大，可以使用miniconda来代替，这就只有基础的功能，包需要自己安装)。

不过如果想要创建新的环境，比如要安装2.x版的python，可以用命令(这里是windows平台的)：

conda create -n yourenvname python=x.x

这会创建一个包含python x.x版新的虚拟环境，位置在Anaconda安装文件下的envs文件夹下。然后激活这个环境用：

conda activate yourenvname

激活后，命令行前面括号里会显示环境的名称。往其中安装所需的包用命令：

conda install packagename packagename

这可以一次安装多个，conda会自动安装相应的依赖包。某些情况下conda没有相应的包，也可以用pip来进行安装。退出环境用conda deactivate。

我在使用中需要指定环境的创建到另外一个磁盘分区上(U盘也行，这样就可以在其他有Anaconda的电脑上用这个环境了)。先在需要安装的位置创建一个以环境名命名的文件夹，然后就是同上面一样的命令，但在环境名前加上位置：

conda create -p path\to\env\envname python=x.x

Jupyter notebook

Jupyter notebook是一种基于Web 的文档，能将文本、图像和代码全部组合到一个文档中，我甚至看到nature报道其在数据科学里的应用。用它你可以边写代码，运行结果，边用markdown写分析等。而且现在它也可以支持R。

在Anaconda prompt命令行里输入jupyter notebook，回车后就能打开它，然会在浏览器里启动和使用。当然如果要启动某个虚拟环境里的jupyter notebook的话得先激活相应的环境。有时启动后想要换文件的位置，但是在notebook里面不能换，则需要指定notebook创建位置

jupyter notebook --notebook-dir=path\to\folder

在右上角就有New，通过它可以创建一个新notebook，或者文本文件、文件夹等。创建新notebook后，就来到notebook的主界面。notebook的代码块(cell)主要有两种输入模式：code和markdown。在命令状态下(按ESC后cell左侧为蓝色)可以通过快捷键Y或者M来转换模式code或markdown。按Enter回车后，cell左侧为绿色，就为输入状态了。帮助里可以找到Markdown的用法。

在code模式下的cell里输入了代码后，按Ctrl + Enter就可以运行代码。在code模式下，可以用help()来显示需要的函数帮助，也可以直接在函数名前加问号? (英文输入)。Jupyter notebook也可以使用Ipython的魔法命令(Magic Commands)，如：

# 显示所有可用magic commands

%lsmagic

# 把matplotlib输出的图显示到notebook里

%matplotlib inline

# 运行外部.py代码文件

%run filename

# 从外部脚本文件中插入代码到当前cell

%load filename

Spyder

Spyder是一个集成的开发环境。好像只通过Anaconda安装。它模仿了Matlab的工作空间布局，也可以转换到类似R studio的布局。(现在暂时还没用熟，以后补充吧)

Visual Studio Code

VS code是微软开发的一款免费的兼容多种语言的开发工具，用户也非常多。像我一般只需要将写好的脚本稍作修改运行的，使用这个会非常方便。用VS code需要在里面安装python扩展，安装后，reload程序就会找到系统路径里的python以使用。另一个扩展code runner也是非常推荐安装的，用它能快速的运行代码。linter可以设置成pylint。方法: Ctrl + Shift + P，键入Python: Select Linter (选择linter)，然后选择pylint就行。

4 学习资源：

网上有非常丰富的Python教程、分享和讨论组。可以用Scipy Lecture Notes 开始，里面有python的入门，以及numpy，pandas，matplotlib等数据处理所需包的教材。这个也有网友翻译的中文版。

numpy，pandas，matplotlib都有其自己的入门教程。入门后，我感觉阅读相应的文档(doc)就差不多了。我现在就是通过阅读numpy，pandas，matplotlib来边用边学的。先通过包的API来大概看这个包有什么功能，大概有个印象，需要的时候再搜索下到相应的doc和示例来看。

Stack Overflow 是一个很大的社区，刚学的可以在里面找到绝大部分问题的答案。Numerical Programming with Python 是一个用python做数据处理的在线课程，也可以通过这个学习。当然遇到问题搜索引擎基本上能就能解决了。