第九周 Python计算生态概览
9.0 课程导学
前课复习
本课概要
9.1 从数据处理到人工智能
9.2 实例15：霍兰德人格分析雷达图
9.3 从Web解析到网络空间
9.4 从人机交互到技术设计
9.5 实例16：玫瑰花绘制
方法论
纵览Python计算生态，看见更大的世界
实践能力
初步编写带有计算生态的复杂程序
9.1 从数据处理到人工智能
单元开篇
框架
数据表示→数据清洗→数据统计→数据可视化→数据挖掘→人工智能
数据表示：采用合适方式用程序表达数据
数据清洗：数据归一化、数据转换、异常值处理
数据统计：数据的概要理解，数量、分布、中位数等
数据可视化：直观展示数据内涵的方式
数据挖掘：从数据分析获得知识，产生数据外的价值
人工智能：数据/语言/图像/视觉等方面深度分析与决策
单元结构
Python库的数据分析
Python库的数据可视化
Python库的文本处理
Python库的机器学习
Python库的数据分析
Numpy：表达N维数组的最基础库
Python接口使用，C语言实现，计算速度优异
Python数据分析及科学计算的基础库，支撑Pandas等
提供直接的矩阵运算、广播函数、线性代数等功能
Pandas：Python数据分析高层次应用库
提供了简单易用的数据结构和数据分析工具
理解数据类型与索引的关系，操作索引即操作数据
Python最主要的数据分析功能库，基于Numpy开发
Series = 索引 + 一维数据
DataFrame = 行列索引 + 二维数据
SciPy：数学、科学和工程计算功能库
提供了一批数学算法及工程数据运算功能
类似Matlab，可用于如傅里叶变换，信号处理等应用、
Python最主要的科学计算功能库，基于Numpy开发
Python库的数据可视化
Matplotlib：高质量的二维数据可视化功能库
提供了超过100种数据可视化展示效果
通过matplotlib.pyplot子库调用各可视化效果
Python最主要的数据可视化功能库，基于Numpy开发
Seaborn：统计类数据可视化功能库
提供了一批高层次的统计类数据可视化展示效果
主要展示数据间分布、分类和线性关系等内容
基于Matplotlib开发， 支持Numpy和Pandas
Mayavi：三维科学数据可视化功能库
提供了一批简单易用的3D科学计算数据可视化展示效果
目前版本是Mayavi2，三位可视化最主要的第三方库
支持Numpy、TVTK、Traits、Envisage等第三方库
Python库的文本处理
PyPDF2：用来处理pdf文件的工具集
提供了一批处理PDF文件的计算功能
支持获取信息、分隔/整合文件、加密解密等
完全Python语言实现，不需要额外依赖，功能稳定
NLTK：自然语言文本处理第三方库
提供了一批简单易用的自然语言文本处理功能
支持语言文本分类、标记、语句语法、语义分析等
最优秀的自然语言处理库
Python-docx：创建或更新Microsoft Word文件的第三方库
提供创建或更新.doc .docx等文件的计算功能
增加配置段落、图片、表格、文字等，功能全面
Python库的机器学习
Scikit-learn：机器学习方法工具集
提供一批统一化的机器学习方法功能接口
提供聚类、分类、回归、强化学习等计算功能
机器学习最基本且最优秀的Python第三方库
TensorFlow：AlphaGo背后的机器学习计算框架
谷歌公司推动的开源机器学习框架
将数据流图作为基础，图节点代表运算，边代表张量
应用机器学习方法的一种方式，支撑谷歌人工智能应用
import tensorflow as tf
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)
res = sess.run(result)
print('result:', res)
MXNet：基于神经网络的深度学习计算框架
提供可扩展的神经网络及深度学习计算功能
可用于自动驾驶、机器翻译、语音识别等众多领域
Python最重要的深度学习框架
单元小结
9.2 实例15：霍兰德人格分析雷达图
问题分析
雷达图 Radar Chart
雷达图是多特性直观展示的重要方式
霍兰德人格分析
霍兰德认为：人格兴趣与职业之间应有一种内在的对应关系
人格分类：研究性、艺术性、社会性、企业型、传统型、现实型
职业：工程师、实验员、艺术家、推销员、记事员、社会工作者
框架
需求：雷达图方式验证霍兰德人格分析
输入：各职业人群结合兴趣的调研数据
输出：雷达图
通用雷达图绘制：matplotlib库
专业的多维数据表示：numpy库
实例展示
举一反三
9.3 从Web解析到网络空间
单元开篇
Python库之网络爬虫
Python库之Web信息提取
Python库之Web网站开发
Python库之网络应用开发
Python库之网络爬虫
Requests：最有好的网络爬虫功能库
提供了简单易用的类HTTP协议网络爬虫功能
支持连接池、SSL、Cookies、HTTP(S)代理等
Python最主要的页面级网络爬虫功能库
Scrapy：优秀的网络爬虫框架
提供了构建网络爬虫系统的框架功能，功能半成品
支持批量和定时网页爬取，提供数据处理流程等
Python最主要且最专业的网络爬虫框架
Pyspider：强大的Web页面爬取系统
提供了完整的网页爬取系统构建功能
支持数据库后端、消息队列、优先级、分布式架构等
Python重要的网络爬虫类第三方库
Python库之Web信息提取
BeautifulSoup：HTML和XML的解析库
提供了解析HTML和XML等Web信息的功能
又名beautifulsoup4或bs4，可以加载多种解析引擎
常与网络爬虫裤搭配使用，如Scarpy、requests等
Re：正则表达式解析和处理功能库
提供了定义和解析正则表达式的一批通用功能
可用于各类场景，包括定点的Web信息提取
Python最主要的标准库之一
Python-Goose：提取文章类型的Web页面的功能库
提供了对Web页面中文章信息/视频等元数据的提取功能
针对特定类型Web页面，应用范围较广
Python最主要的Web信息提取库
Python库之Web网站开发
Django：最流行的Web应用框架
提供了构建Web系统的基本应用框架
MTV模式：模型(Model)、模板(Template)、视图(Views)
Python最重要的Web应用框架，略微复杂的应用框架
Pyramid：规模适中的Web应用框架
提供了简单方便构建Web系统的应用框架
不大不小，规模适中，适合快速构建适度扩展类应用
Python产品级Web应用框架，起步简单可扩展性好
Flask：Web应用开发微框架
提供了最简单构建Web系统的应用框架
特点是：简单、规模小、快速
Python库之网络应用开发
WeRobot：微信公众号开发框架
提供了解析微信服务器消息及反馈消息的功能
建立微信机器人的重要技术手段
AIP：百度AI开放平台接口
提供了访问百度AI服务的Python功能接口
语音、人脸、OCR、NLP、知识图谱、图像搜索等领域
Python百度AI应用的最主要方式
MyQR：二维码生成第三方库
提供了生成二维码的系列功能
基本二维码，艺术二维码和动态二维码
单元小结
9.4 从人机交互到技术设计
单元开篇
Python库之图形用户界面
Python库之游戏开发
Python库之虚拟现实
Python库之图形艺术
Python库之图形用户界面
PyQt5：Qt开发框架的Python接口
提供了创建Qt5程序的Python API接口
Qt是非常成熟的跨平台桌面应用开发系统，完备GUI
推荐的Python GUi开发第三方库
wxPython:跨平台GUI开发框架
提供了专用于Python的跨平台GUi开发框架
理解数据类型与索引的关系，操作索引即操作数据
Python最主要的数据分析功能库，基于Numpy开发
PyGObject：使用GTK+开发GUI的功能库
提供了整合GTK+、WebKitGTK+等库的功能
GTK+：跨平台的一种用户图形界面GUI框架
实例：Anaconda采用该库构建GUI
Python库之游戏开发
Python库之虚拟现实
Python库之图形艺术
9.5 实例16：玫瑰花绘制
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
