python | 第九章：python计算生态概览 学习笔记

本篇文章是对北京理工大学嵩天老师的《Python语言程序设计》第九章内容的学习笔记。

方法论：纵览python计算生态（主要是第三方库介绍及应用场景）

实践能力：初步编写带有计算生态的复杂程序。

1 从数据处理到人工智能

1.1 数据分析类库

（1）Numpy库：表达N维数组的最基础库，支持pandas等。提供直接的矩阵运算，广播函数，线性代数等功能。

（2）Pandas：python数据分析最高层次应用库，提供了简单易用的数据结构和数据分析工具，基于Numpy开发。需要理解数据类型和索引的关系，有两种索引：

Series = 索引 + 一维数据

DataFrame = 行列索引 + 二维数据

（3）SciPy：数学、科学和工程计算功能库，基于Numpy开发。提供了一批数学算法及工程数据运算功能；类似Matlab，可用于傅立叶变换、信号处理、线性代数、图像处理、稀疏图压缩、稀疏运算、优化算法等应用

1.2 数据可视化类库

（1）Maplotlib：高质量的二维数据可视化功能库，基于Numpy库开发。通过matplotlib.pyplot子库调用各种可视化效果。

（2）Seaborn：统计类数据可视化功能库，基于Matplotlib开发，支持Numpy和Pandas。提供了一批高层次的统计类数据可视化展示效果，主要展示数据间分布、分类和线性关系。

（3）Mayavi：三位科学数据可视化功能库，支持Numpy、TVTK、Traits、Envisage等第三方库。提供了一批简单易用的3D科学计算数据可视化展示效果。

1.3 文本处理库

（1）PyPDF2：处理pdf文件的工具集，完全基于python实现，不需要外额依赖，功能稳定。支持获取信息、分隔/整合文件、加密解密等。

from PyPDF2 import PdfFileReader,PdfFieMerger
merger = PdfFieMerger()
input1 = open("file1.pdf","rb")
input2 = open("file2.pdf","rb")
merger.append(fileobj = input1,pages =(0,1))
merger.merger(position = 2, fileobj = input2,pages = (0,1))
output = open("output.pdf","wb")
merger.write(output)

（2）NTLK：自然语言文本处理第三方库，提供了一批简单易用的自然语言文本处理功能，支持语言文本分类、标记、语法句法、语义分析等。

（3）Python-docx：创建或更新Microsoft Word文件的第三方库。提供创建或更新.doc、.docx等文件的计算功能，增加并配置段落、图片、表格、文字等，功能全面。

1.4 机器学习库

（1）Scikit-learn：机器学习方法工具集，提供一批统一化的机器学习方法功能接口，提供聚类、分类、回归、强化学习等计算功能。

（2）TensorFlow：AlphaGo背后的机器学习计算框架。将数据流图作为基础，图节点代表运算，边代表张量。

（3）MXNet：基于神经网络的深度学习计算框架，提供可扩展的神经网络及深度学习计算功能，可用于自动驾驶、机器翻译、语音识别等众多领域。

2 从Web解析到网络空间

2.1 网络爬虫类

（1）Requests：最友好的网络爬虫功能库，提供了简单易用的类HTTP协议网络爬虫功能，支持连接池、SSL、Cookies、HTTP(S)代理等。

（2）Scrapy：优秀的网络爬虫框架，提供了构建网络爬虫系统的框架功能，功能半成品，支持批量和定时网页爬取、提供数据处理流程等。

（3）pyspider：强大的Web页面爬取系统，提供了完整的网页爬取系统构建功能，支持数据库后端、消息队列、优先级、分布式架构等。

2.2 Web信息提取

（1）Beautiful Soup：HTML和XML的解析库，提供了解析HTML和XML等Web信息的功能，常与网络爬虫库搭配使用，如Scrapy、Requests。

（2）Re：正则表达式解析和处理功能库，提供了定义和解析正则表达式的一批通用功能，可用于各类场景，包括定点的Web信息提取。

（3）Python-Goose：提取文章类型Web页面的功能库，提供了对Web页面中文章信息/视频等元数据的提取功能，针对特定类型Web页面，应用覆盖面较广。

2.3 Web网站开发

（1）Django：最流行的Web应用框架，提供了构建Web系统的基本应用框架。MTV模式：模型（model）、（模版template）、（视图views）

（2）Pyramid：规模适中的Web应用框架，提供了简单方便构建Web系统的应用框架，不大不小，规模适中，适合快速构建并适度扩展类应用。

（3）Flask：Web应用开发微框架，提供了最简单构建Web系统的应用框架。

2.4 网络应用开发

（1）WeRoBot：微信公众号开发框架，提供了解析微信服务器消息及反馈消息的功能；建立微信机器人的重要技术手段。

（2）rip：百度AI开放平台接口

（3）MyQR：二维码生成第三方库，可生成基本二维码、艺术二维码、动态二维码。

3 从人机交互到艺术设计

3.1 图形用户界面

（1）PyQt5：Qt开发框架的Python接口。

（2）wxPython：跨平台GUI开发框架。

（3）PyGobject：使用GTK+开发GUI的功能库。

3.2 游戏开发

（1）PyGame：简单的游戏开发功能库，提供了基于SDL的简单游戏开发功能及实现引擎，理解游戏对外部输入的响应机制及角色构建和交互机制。

（2）Panda3D：开源、跨平台的3D渲染和游戏开发库，由迪士尼和卡尼吉梅隆大学共同开发。

（3）cocos2d：构建2D游戏和图形界面交互式应用的框架，提供了基于OpenGL的游戏开发图形渲染功能，支持GPU加速，采用树形结构分层管理游戏对象类型。

3.3虚拟现实

（1）VR Zero：在树莓派上开发VR应用的Python库。提供大量与VR开发相关的功能。

（2）pyovr：Oculus Rift的Python开发接口。

（3）Vizard：基于Python的通用VR开发引擎。

3.4 图形艺术

（1）Quads：迭代的艺术，对图片进行四分迭代，形成像素风，可生成动图或静图，简单易用，具有很高展示度。

（2）ascii_art：ASCII艺术库。将普通图片转为ASCII艺术风格，输出可以是纯文本或彩色文本，可采用图片格式输出。

（3）turtle：海龟绘图体系。