python从数据处理到人工智能相关第三方库

从数据处理到人工智能

数据（表示-清洗-统计分析-可视化-挖掘-人工智能）

• 数据表示：采用便于计算机处理的方法表示数据
• 数据清洗：缺失值、异常值、类型转化、数据归一化处理
• 数据分析：数据的概要理解、变量类型、分布、特征值等
• 数据可视化：直观展示数据蕴含的信息
• 数据挖掘：从数据中分析知识，产生数据外的价值
• 人工智能：数据/语言/图像/视觉等方面深入分析与决策

1、Python库之数据分析

• Numpy Pandas SciPy

2、Python库之数据可视化

• Matplotlib Seaborn Mayavi

3、Python库之文本分析

• PyPDF2 NLTK python-docx

4、Python库之机器学习

• Scikit-learn TensorFlow MXNet

1.Python库之数据分析

1.1Numpy:表达N维数组的最基础库

• python接口使用，c语言的实现，计算速度优异
• python数据分析及科学计算的基础库，支撑pandas等
• 提供直接的矩阵运算的、广播函数、线性代数等功能
• 最基础单元为数组（数组相当于一个变量）

1.2.pandas:Python数据分析高层次应用库

• 提供了简单易行的数据结构和数据分析工具
• 理解数据类型与索引的关系，操作索引及操作数据
• python最主要的数据分析功能库，基于Numpy开发的
• 核心提供了两个数据结构（series）
  • series=索引+一维数据（通过索引与一维数据进行关联，进行操作数据）
  • DataFrame=行列索引+二维数据（通过行列索引与二维数据进行关联，进行操作数据）

1.3.SciPy:数据、科学和工程计算功能库

• 提供了一批数学算法及工程数据运算功能
• 类似Matlab，可用于傅里叶变换、信号处理、优化算法、稀疏图运算类、稀疏图压缩类、线性代数类、图像处理类等应用
• Python最主要的科学计算功能库，基于Numpy开发的

2.Python库之数据可视化

2.1matplotlib:高质量的二维数据可视化功能库

• 提供了超过100种数据可视化展示效果
• 通过matplotlib.pyplot子库调用各可视化效果
• python最主要的数据可视化功能库，基于Numpy开发的

2.2Seaborn: 统计类数据可视化功能库

• 提供了高层次的统计类可视化展示效果
• 主要展示数据间分布、分类和线性关系等内容
• 基于Matplotlib开发，支持Numpy和Pandas
  -相较于Matplotlib展示更有力度、调用也更简单

2.3Mayavi:三维数据可视化功能库

• 提供了一批简单易用的3D科学计算数据可视化展示效果
• 目前版本是Mayavi2，三维可视化最主要的第三方库
• 支持Numpy、TVTK、Traits、Envisage等第三方库，能与他们联动使用

3.Python库之文本处理

3.1 PyPdf2:用来处理pdf文件的工具集

• 用于处理pdf文件
• 支持获取文件信息、分隔/整合文件、加密解密等
• 完全python语言实现，不需要额外依赖，功能稳定

3.2 NLTK:自然语言处理第三方库

• 处理自然语言文本
• 支持语言文本分类、标记、语法语句、语义分析等
• 最优秀的python自然语言处理库

3.3python-docx:创建或更新word文件的第三方库

• 或更新.doc .docx等文件的计算功能
• 增加并配置段落、图片、表格、文字等，功能全面

4.Python库之机器学习

0##### 4.1Scikit-learn:机器学习方法工具集

• 提供一批统一化的机器学习方法功能接口
• 提供聚类、分类、回归、强化学习等计算功能
• 机器学习最基本最优秀的第三方库

4.2TensorFlow:AlphaGo背后的机器学习计算框架

• 谷歌公推动的开源机器学习功能框架，开源使用python语言
• 将数据流图作为基础，图节点代表运算，边代表张量
• 应用机器学习方法的一种方式，支撑谷歌人工智能应用

4.3MXNet:基于神经网络的深度学习计算框架

• 提供可扩展的神经网络及深度学习计算功能
• 可用于自动驾驶、机器翻译、语音识别等众多领域
• python最重要的深度学习计算框架