Python进阶一: 重要的Python库

一、重要的Python库

本文源自微博客(www.microblog.store),且以获得授权

1.1NumPy

     NumPy（Numerical Python的简称）是Python科学计算的基础包。本书⼤部分内容都基于NumPy以及构建于其上的库。它提供了以下功能（不限于此）：

• 快速高效的多维数组对象ndarray。

• 用于对数组执⾏元素级计算以及直接对数组执⾏数学运算的
  函数。

• 用于读写硬盘上基于数组的数据集的⼯具。

• 线性代数运算、傅⾥叶变换，以及随机数⽣成。

• 成熟的C API， ⽤于Python插件和原生C、C++、Fortran代
  码访问NumPy的数据结构和计算工具。

     除了为Python提供快速的数组处理能力，NumPy在数据分析方⾯还有另外⼀个主要作⽤，即作为在算法和库之间传递数据的容 器。对于数值型数据，NumPy数组在存储和处理数据时要比内置的Python数据结构⾼效得多。此外，由低级语言（比如C和 Fortran）编写的库可以直接操作NumPy数组中的数据，⽆需进 ⾏任何数据复制⼯作。因此，许多Python的数值计算⼯具要么使用NumPy数组作为主要的数据结构，要么可以与NumPy进⾏⽆ 缝交互操作。

1.2 Pandas

     pandas提供了快速便捷处理结构化数据的⼤量数据结构和函数。⾃从2010年出现以来，它助使Python成为强⼤⽽⾼效的数据分析环境。本书⽤得最多的pandas对象是DataFrame，它是⼀个⾯向列（column-oriented）的⼆维表结构，另⼀个是Series，⼀个⼀维的标签化数组对象。

     pandas兼具NumPy⾼性能的数组计算功能以及电⼦表格和关系型数据库（如SQL）灵活的数据处理功能。它提供了复杂精细的索引功能，以便更为便捷地完成重塑、切片和切块、聚合以及选取数据⼦集等操作。因为数据操作、准备、清洗是数据分析最重要的技能，pandas是本书的重点。

     作为⼀点背景，我是在2008年初开始开发pandas的，那时我任职于AQR Capital Management，⼀家量化投资管理公司，我有许多⼯作需求都不能⽤任何单⼀的⼯具解决：

• 有标签轴的数据结构，⽀持⾃动或清晰的数据对⻬。这可以防⽌由于数据不对⻬，和处理来源不同的索引不同的数据，造成的错误。
• 集成时间序列功能。
• 相同的数据结构⽤于处理时间序列数据和⾮时间序列数据。
• 保存元数据的算术运算和压缩。
• 灵活处理缺失数据。
• 合并和其它流⾏数据库（例如基于SQL的数据库）的关系操作

     我想只⽤⼀种⼯具就实现所有功能，并使⽤通⽤软件开发语⾔。Python是⼀个不错的候选语⾔，但是此时没有集成的数据结构和⼯具来实现。我⼀开始就是想把pandas设计为⼀款适⽤于⾦融和商业分析的⼯具，pandas专注于深度时间序列功能和⼯具，适⽤于时间索引化的数据。

     对于使⽤R语⾔进⾏统计计算的⽤户，肯定不会对DataFrame这个名字感到陌⽣，因为它源⾃于R的data.frame对象。

但与Python不同，data frames是构建于R和它的标准库。因此，pandas的许多功能不属于R或它的扩展包。

     pandas这个名字源于panel data（⾯板数据，这是多维结构化数据集在计量经济学中的术语）以及Python dataanalysis（Python数据分析）。

1.3 Matplotlib

     matplotlib是最流⾏的⽤于绘制图表和其它⼆维数据可视化的Python库。它最初由John D.Hunter（JDH）创建，⽬前由⼀个庞⼤的开发⼈员团队维护。它⾮常适合创建出版物上⽤的图表。虽然还有其它的Python可视化库，matplotlib却是使⽤最⼴泛的，并且它和其它⽣态⼯具配合也⾮常完美。我认为，可以使⽤它作为默认的可视化⼯具。

1.4 SciPy

SciPy是⼀组专⻔解决科学计算中各种标准问题域的包的集合，主要包括下⾯这些包：

• scipy.integrate：数值积分例程和微分⽅程求解器。
• scipy.linalg：扩展了由numpy.linalg提供的线性代数例程和矩阵分解功能。
• scipy.optimize：函数优化器（最⼩化器）以及根查找算法
• scipy.signal：信号处理⼯具。
• scipy.sparse：稀疏矩阵和稀疏线性系统求解器。
• scipy.special：SPECFUN（这是⼀个实现了许多常⽤数学函数（如伽玛函数）的Fortran库）的包装器。
• scipy.stats：标准连续和离散概率分布（如密度函数、采样器、连续分布函数等）、各种统计检验⽅法，以及更好的描述统计法。

     NumPy和SciPy结合使⽤，便形成了⼀个相当完备和成熟的计算平台，可以处理多种传统的科学计算问题。

1.5 scikit-learn

     2010年诞⽣以来，scikit-learn成为了Python的通⽤机器学习⼯具包。仅仅七年，就汇聚了全世界超过1500名贡献者。它的⼦模块包括：

• 分类：SVM、近邻、随机森林、逻辑回归等等。
• 回归：Lasso、岭回归等等。
• 聚类：k-均值、谱聚类等等。
• 降维：PCA、特征选择、矩阵分解等等。
• 选型：⽹格搜索、交叉验证、度量。
• 预处理：特征提取、标准化。

与pandas、statsmodels和IPython⼀起，scikit-learn对于Python成为⾼效数据科学编程语⾔起到了关键作⽤。

1.6 statsmodels

     statsmodels是⼀个统计分析包，起源于斯坦福⼤学统计学教授Jonathan Taylor，他设计了多种流⾏于R语⾔的回归分析模型。Skipper Seabold和Josef Perktold在2010年正式创建了statsmodels项⽬，随后汇聚了⼤量的使⽤者和贡献者。受到R的公式系统的启发，Nathaniel Smith发展出了Patsy项⽬，它提供了statsmodels的公式或模型的规范框架。

     与scikit-learn⽐较，statsmodels包含经典统计学和经济计量学的算法。包括如下⼦模块：

• 回归模型：线性回归，⼴义线性模型，健壮线性模型，线性混合效应模型等等
• ⽅差分析（ANOVA）
• 时间序列分析：AR，ARMA，ARIMA，VAR和其它模型
• ⾮参数⽅法： 核密度估计，核回归
• 统计模型结果可视化

     statsmodels更关注与统计推断，提供不确定估计和参数p-值。相反的，scikit-learn注重预测。

     同scikit-learn⼀样，我也只是简要介绍statsmodels，以及如何⽤NumPy和pandas使⽤它。