Python_note9 Matplotlib画图 Seaborn画图

数据处理到人工智能

• 数据表示 采用合适方式程序表达数据
• 数据清洗 数据归一化，数据转换，异常值处理
• 数据统计 数据概要理解，数量，分布，中位数
• 数据可视化 直观展示数据内涵
• 数据挖掘 从数据分析获得知识 产生数据外的价值
• 人工智能 数据、语言、图像、视觉等方面深度分析与决策

Python库数据分析

• Numpy：表达N维数组最基础库，python接口使用，C语言实现，计算速度优异
  将n维数据看做数据对象直接操作
• Pandas:Python数据分析高层次应用库 基于Numpy 数据类型与索引
  Series = 索引 + 一维数据
  DataFrame = 行列索引 + 二维数据
• SciPy:数学、科学和工程计算功能库 类似Matlab 基于Numpy
  傅里叶变换，信号处理，线性代数，图像处理，稀疏图压缩，优化算法类

Python库数据可视化

Matplotlib！！！：高质量二维数据可视化功能库 基于Numpy
通过matplotlib.pyplot子库调用各可视化效果

Seaborn : 统计类数据可视化功能库 主要展示 数据间分布，分类和线性关系，基于Matplotlib支持Numpy和pandas http://seaborn.pydata.org/

• Mayavi:三维科学数据可视化功能库 立体

Python文本处理

• PyPDF2 处理pdf文件
• NLTK 自然语言文本处理第三方库
  语言文本分类，标记，语法句法，语义分析
• Python-docx 创建或更新Microsoft Word文件
  创建或更新.doc .docx文件，增加并配置段落，图片，表格，文字
  http://python-docx.readthedocs.io/en/latest/index.html

Python库之机器学习

• Scikit-learn:机器学习方法工具集 http://scikit-learn.org/
  统一化的机器学习方法功能接口，聚类，回归，分类，强化学习等
• TensorFlow:AlphaGo 背后的机器学习计算框架 https://www.tensorflow.org/
  将数据流图作为基础，图节点代表运算，边代表张量

MXNet:基于神经网络的深度学习计算框架 https://mxnet.incubator.apache.org/
用于自动驾驶，机器翻译，语言识别等众多领域

实例 霍兰德人格分析雷达图

通用雷达图绘制：matplotlib库
专业的多维数据表示：numpy库

Web解析到网络空间

• Python库之 网络爬虫
  Requests最友好最主要的页面级网络爬虫功能库，提供简单易用的类HTTP协议网络爬虫功能，支持连接池、SSL、Cookies、HTTP(s)代理 http://www.python-requests.org/

import requests
r = requests.get('https://api.github.com/user',auther=('user','pass'))#一行语句访问网页链接
r.status_code#网络的状态效果
r.headers('content-type')#
r.encoding#
r.text#获取文本信息

Scripy：最主要最专业的优秀的网络爬虫框架 https://scrapy.org
提供构建网络爬虫系统的框架功能，框架即功能半成品。支持批量和定时网页爬取，提供数据处理流程
pyspider强大的Web页面爬取系统，提供完整的网页爬取系统构建功能
支持数据库后端，消息队列，优先级，分布式架构等

• Python库之Web信息提取
  Beautiful Soup：HTML和XML的解析库
  可加载多种解析引擎，常与网络爬虫库搭配使用，如Scrapy，requests等
  对HTML标签的树形结构进行下行遍历，上行遍历，平行遍历等
  http://www.crummy.com/software/BeautifulSoup/bs4
  Re：正则表达式解析和功能处理库 python最主要标准库之一 无需安装
  定义和解析正则表达式的通用功能，用于各类场景包括定点的Web信息提取
  re.search() re.match() re.findall() re.split() re.finditer() re.sub()
  Python-Goose：提取文章类型Web页面的功能库 https://github.com/grangier/python-goose
  提供对Web页面中文章信息/视频等元素数据的提取功能，正对特定类型Web页面

from goose import Goose
url = 'http://www.elmundo.es/elmundo/2012/10/28/espana/1351388909.html'
g = Goose({'use_meta_language':False,'target_language':'es'})
article = g.extract(url=url)
article.cleaned_text[:150]

• Python库之Web网站开发
  Django：最流行最基本的的Web应用框架 https://www.djangoproject.com
  MTV模式：模型(model)，模板(Template)，视图(Views)
  Pyramid：规模适中 的Web应用框架 https://trypyramid.com/
  Flask：Web应用开发微框架 简单规模小快速 http://flask.pocoo.org
• Python库之网络应用开发
  WeRoBot：微信公众号开发框架
  aip：百度AI开放平台接口，提供访问百度AI服务的Py功能接口，语音，人脸，OCR，NLP，知识图谱，图像搜索
  MyQR：二维码生成第三方库，基本/艺术/动态二维

人机交互到艺术设计

• Python库之图形用户界面
  PyQt5：Qt开发框架的Python接口，Qt成熟的跨平台桌面应用开发系统，完备GUI
  推荐的Python GUI(图形化界面) 开发第三方库
  wxPython：跨平台GUI开发框架
  基于Numpy，操作索引即操作数据
  PyGObject：使用GTK+开发GUI的功能库
  提供整合GTK+,WebKitGTK+等库的功能，GTK+跨平台用户图形界面GUI框架
  Anaconda采用该库构建GUI
• Python库之游戏开发
  PyGame，Panda3D，cocos2d
• Python库之虚拟现实 Vizard----VR开发引擎
• Python库之图形艺术
  Quads库 迭代的艺术，对图像四分迭代形成像素风，生成动静态图像
  ascii_art 将普通图片转为ASCII艺术风格
  turtle 绘制Random Art

玫瑰花制

#RoseDraw.py
import turtle as t
# 定义一个曲线绘制函数
def DegreeCurve(n , r , d=1):
    for i in range(n):
        t.left(d)
        t.circle(r,abs(d))
# 初始位置设定
s=0.2# size
t.setup(450*5*s, 750*5*s)
t.pencolor("black")
t.fillcolor("red")
t.speed(100)
t.penup()
t.goto(0, 900*s)
t.pendown()# 绘制花朵形状
t.begin_fill()
t.circle(200*s,30)
DegreeCurve(60, 50*s)
t.circle(200*s,30)
DegreeCurve(4, 100*s)
t.circle(200*s,50)
DegreeCurve(50, 50*s)
t.circle(350*s,65)
DegreeCurve(40, 70*s)
t.circle(150*s,50)
DegreeCurve(20, 50*s, -1)
t.circle(400*s,60)
DegreeCurve(18, 50*s)
t.fd(250*s)
t.right(150)
t.circle(-500*s,12)
t.left(140)
t.circle(550*s,110)
t.left(27)
t.circle(650*s,100)
t.left(130)
t.circle(-300*s,20)
t.right(123)
t.circle(220*s,57)
t.end_fill()# 绘制花枝形状
t.left(120)
t.fd(280*s)
t.left(115)
t.circle(300*s,33)
t.left(180)
t.circle(-300*s,33)
DegreeCurve(70, 225*s, -1)
t.circle(350*s,104)
t.left(90)
t.circle(200*s,105)
t.circle(-500*s,63)
t.penup()
t.goto(170*s,-30*s)
t.pendown()
t.left(160)
DegreeCurve(20, 2500*s)
DegreeCurve(220, 250*s, -1)# 绘制一个绿色叶子
t.fillcolor('green')
t.penup()
t.goto(670*s,-180*s)
t.pendown()
t.right(140)
t.begin_fill()
t.circle(300*s,120)
t.left(60)
t.circle(300*s,120)
t.end_fill()
t.penup()
t.goto(180*s,-550*s)
t.pendown()
t.right(85)
t.circle(600*s,40)# 绘制另一个绿色叶子
t.penup() t.goto(-150*s,-1000*s)
t.pendown()
t.begin_fill()
t.rt(120)
t.circle(300*s,115)
t.left(75)
t.circle(300*s,100)
t.end_fill()
t.penup()
t.goto(430*s,-1070*s)
t.pendown()
t.right(30)
t.circle(-600*s,35)
t.done()