网络爬虫 | requests、scrapy |
数据分析 | numpy、scipy、pandas |
文本处理 | pdfminer、openpyxl、python-docx、beautifulsoup4 |
数据可视化 | matploflib、TVTK、mayavi |
用户图形界面 | PYQt5、wxPython、PyGTK |
机器学习 | scikit-learn、TensorFlow、Theano |
Web开发 | Django、Pyramid、Flask |
游戏开发 | Pygame、Panda3D、cocos2d |
其他 | PIL、SymPy、NLTK、WeRoBot、MyQR |
1.网络爬虫(是自动进行HTTP访问并捕获HTML页面的程序)
- requests库
是一个简洁且简单的处理HTTP请求的第三方库。优点: 程序编写过程更接近正常URL访问过程。该库建立在urlib3库基础上。
- scrapy库
是Python开发的一个快速的、 高层次的web获取框架。 不同于简单的网络爬虫功能, scrapy框架本身包含了成熟网络爬虫系统所应该具有的部分共用功能, 它是一个半成品,任枸人都可以根据需求方便地利用框架已有功能经过简单扩展实现专业的网络爬虫系统。
2.数据分析
- numpy
是一种开源数值计算扩展第三方库用于处理数据类型相同的多维数组, 可以用来存储和处理大型矩阵 比Python语言提供的列表结果要高效得多。
- scipy
是一款方便、易用、 专为科学和工程设计的Python工具包, 它是在numpy库的基础上增加了众多的数学、 科学以及工程计算中常用的库函数。
- pandas
pandas是基于numpy扩展的一个重要第三方库, pandas最初被作为金融数据分析工具而开发。
3.文本处理
- pdfminer
是一个可以从PDF文档中提取各类信息的第三方库, 能够完全获取并分析PDF的文本数据, 并且获取PDF中文本的准确位置、 字体、行数等信息。
- openpyxl
是一个处理Excel文档的Python第三方库。
- python-docx
是一个处理word文档的Python第三方库
- beautifulsoup4
用于解析HTML和XML。
4.数据可视化(是指根据数据特点将其展示为易于理解的图形的过程)
- matploflib
主要进行二维图标数据展示, 广泛用于科学计算的数据可视化。
- TVTK
是一个开源、 跨平台、 支持平行处理的图形应用函数库, 它是专业可编程的三维可视化工具
- mayavi
在VTK基础之上开发的, 可以更为方便开发实用的三维可视化工具。
5.用户图形界面(Python标准库内置了一个GUI库(Tkinter), 但过于陈旧, 开发控件也很有限。)
- PyQt5
它有超过620个类和近6000个函数和方法。 它是Python中最为成熟的商业级第三方库,可以在windows、 Linux和MacOS X等操作系统上跨平台使用
- wxPython
可以轻松地创建健壮可靠、 功能强大的图形用户界面。
- PyGTK
PyGTK具有跨平台性, 利用它编写的代码能够不加修改地稳定运行在各操作系统中。
6.机器学习 (机器学习是人工智能领域的一个重要分支, Python也是机器学习和人工智能的重要基础语言。)
- scikit-learn(sklearn)
是一个简单高效的数据挖掘和数据分析工具, 基于numpy、 scipy和matplotlib库构建, 专门针对机器学习应用而发展起来的一款开源框架, 基本功能包括: 分类、 回归、 聚类 数据降维模型选择和数据预处理。
- TensorFlow
是谷歌基于DistBelief进行研发的第二代人工智能学习系统, 也是用来支撑AlphaG系统为后台框架。应用十分广泛,从语音识别或图像识别到机器翻译或自动跟踪等, 既可以运行在万台服务器的数据中心, 也可以运行在智能手机或嵌入式设备中。
- Theano
为执行深度学习中大规模神经网络算法的运算而设计, 擅长处理多维数组, 偏向底层开发。
7.Web开发
- Django
Django是Python生态中最流行的开源Web应用框架。 提供了开发网站经常用到的模块,Django的开发理念鼓励快速开发, 减少程序员建立一个高性能web应用所花费的时间和精力, 形成一站式解决方案。
- Pyramid
是一个通用、 开源的Python Web应用程序开发框架, 让Python开发者更简单地创建Web立用。 相比Django是一个小巧、 快速、 灵活的开源Python Web框架。
- Flask
是轻量级Web应用框架,相比Django和Pyramid, 它也被称为微框架。 使用Flask开发Web应用十分方便, 基至几行代码即可建立一个小型网站。
8.游戏开发
- Pygame
是面向游戏开发入门的第三方库, 除了制作游戏外, 还用于制作多媒体应用程序。
- panda3D
是一个开源、跨平台的3D渲染和游戏开发库, 简单说。 它是一个3D游戏引擎, 支持Python和C++两种语言。
- cocos2d
是一个构建2D游戏和图形界面交互式应用的框架, 能够利用GPU进行加速。
9.其他(Python语言有十几万个第三方库, 覆盖信息技术几乎所有领域。 即使在每个方向, 也会有大量的专业人员开发多个第三方库来给出具体设计。)
- PIL
是图像处理方面的重要第三方库,支持图像存储、处理和显示, 能够处理几乎所有的图片格式,可以完成对图像的缩放 剪、叠加以及向图像添加线条、 图像和文字等操作。
- SymPy
是一个符号计算的库,是一个全功能的计算机代数系统。 代码简洁、易于理解, 支持符号计算、高精度计算、模式匹配、 绘制、 解方程、 微积分 、组合数学、离散数学、 几何学、概率与统计、 物理学等领域的计算和应用。
- NLTK
自然语言处理库,支持多种语言, 尤其对中文支持良好, 可以进行预料处理、 文本统计、 大容理解、 情感分析等多种应用。
- WeRoBot
是一个微信公众号开发框架, 可以解析微信服务器发来的消息, 并将消息转换成Message或者Event类型。
- MyQR
是一个能够产生基本二维码、 艺术二维码和动态效果二维码的Python第三方库。