本文主要是博主自己看到的或者了解的,但更大一部分是博主要使用的一些Python模块,如有错误,还望大家指正
windos下安装第三方模块时若出错请参考:http://blog.csdn.NET/gamer_gyt/article/details/45113605
交流QQ:1923361654
禁止转载:需转载请联系博主:E-mail:Thinkgamer@163.com/QQ:1923361654
==========================================================================
Python包管理工具,可以很方便的安装第三方模块
1:setuptools
Ubuntu 安装:sudo apt-get install python-setuptoolswindows安装:下载工具包,命令行进入其目录,执行
python setup.py build
python setup.py install
下载地址:https://pypi.python.org/pypi/setuptools/
详细使用教程:http://www.360doc.com/content/14/0306/11/13084517_358166737.shtml
2:pip(建议使用pip管理自己的包)
Ubuntu 安装:sudo apt-get install python-pipwindows安装:下载工具包,命令行进入其目录,执行
python setup.py build
python setup.py install
下载地址:https://pypi.python.org/pypi/pip/
详细使用教程:http://www.aikaiyuan.com/6918.html
python爬虫模块的相关包和框架
1:BeautifulSoup
关于BeautifulSoup模块主要用于规范化网页源代码,利用其一些特定的解析标签函数来分析网页,的得到一些特定的内容,用起来方便简单容易入门,但仍然有一些弊端,比如说对于网页中含有js代码的就不能有效读取与分析,所以常结合正则表达式来进行使用,效率特别好详细教程:http://beautifulsoup.readthedocs.org/zh_CN/latest/
安装参考:http://blog.csdn.net/gamer_gyt/article/details/45113605
2:urllib 和 urllib2
两者功能都十分强大,接受URL请求进行相应的解析urllib详解:http://python.jobbole.com/81478/
urllib2详解:http://cuiqingcai.com/947.html
两者的区别:http://www.cnblogs.com/yuxc/archive/2011/08/01/2124073.html
3:Request模块
提供与web进行交互,比如提交表单信息等参考教程:http://blog.csdn.net/iloveyin/article/details/21444613 http://blog.163.com/power_mr/blog/static/138744007201392492354260/
4:Scrapy
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。下载地址:http://scrapy.org/
中文文档:http://scrapy-chs.readthedocs.org/zh_CN/latest/
5:其他的python爬虫框架包括:
1. Crawley: Scraping Framework based on Non Blocking I/O operations.https://github.com/jmg/crawley2. portia: Visual scraping for Scrapyhttps://github.com/scrapinghub/portia
3. newspaper: Article scraping & curationhttps://github.com/codelucas/newspaper4. python-goose: 提取出文章的主体https://github.com/xgdlm/python-goosehttps://github.com/grangier/python-goose
Python-goose项目是用Python重写的Goose,Goose原来是用Java写的文章提取工具。Python-goose的目标是给定任意资讯文章或者任意文章类的网页,不仅提取出文章的主体,同时提取出所有元信息以及图片等信息,支持中文网页。
Python-goose可提取的信息包括:
文章主体内容
文章主要图片
文章中嵌入的任何Youtube/Vimeo视频
元描述
元标签
python操作数据库模块
1:MySQLdb模块
此模块用于连接MySQL数据库,没有他是万万不能连接的,有了他也不一定好使,常见错误便是好多人在导入这个包的时候,不注意大小写,以至于提示无此模块详细文档:http://www.yiibai.com/python/python_mysql.html
下载地址:https://pypi.python.org/pypi/MySQL-python/1.2.5
2:sqlite3模块
python2.5以后内置了sqlite3模块,是一个轻量级的数据库详细文档:http://www.cnblogs.com/yuxc/archive/2011/08/18/2143606.html
python 的 Web框架
这方面的模块较多,但小编使用的django框架==============================================以下为转载
1.Zope2
Zope 2是一款基于Python的Web应用框架,是所有Python Web应用程序、工具的鼻祖,是Python家族一个强有力的分支。Zope 2的“对象发布”系统非常适合面向对象开发方法,并且可以减轻开发者的学习曲线,还可以帮助你发现应用程序里一些不好的功能。下载地址:http://zope2.zope.org/releases
2.Web2py
Web2py是一个用Python语言编写的免费的开源Web框架,旨在敏捷快速的开发Web应用,具有快速、可扩展、安全以及可移植的数据库驱动的应用,遵循LGPLv3开源协议。Web2py提供一站式的解决方案,整个开发过程都可以在浏览器上进行,提供了Web版的在线开发,HTML模版编写,静态文件的上传,数据库的编写的功能。其它的还有日志功能,以及一个自动化的admin接口。
下载地址:http://web2py.com/examples/default/download
相关阅读:[开源推荐]企业级Web框架Web2py
3.Web.py
Web.py是一个轻量级的开源Python Web框架,小巧灵活、简单并且非常强大,在使用时没有任何限制。目前Web.py被广泛运用在许多大型网站,如西班牙的社交网站Frinki、主页日平均访问量达7000万次的Yandex等。安装地址:http://webpy.org/install
相关阅读:[开源推荐]小巧灵活的Web框架Web.py
4.Pyramid
Pyramid也是一款轻量级的开源Python Web框架,是Pylons项目的一部分。Pyramid只能运行在Python 2.x或2.4以后的版本上。在使用后端数据库时无需声明,在开发时也不会强制使用一些特定的模板系统。下载地址:http://www.pylonsproject.org/projects/pyramid/download
5.Django
Django是一个开源的Web框架,并且采用MVC设计模式。它是使用非常广泛的Python Web框架,包含许多非常实用的库来加速Web开发。下载地址:https://www.djangoproject.com/download/
6.CubicWeb
CubicWeb宣扬自己不仅是一个Web开发框架,而且还是一款语义Web开发框架。CubicWeb使用关系查询语言(RQL Relation Query Language)与数据库之间进行通信。下载地址:http://docs.cubicweb.org/admin/setup
下面这些信息图是该六大框架的评测图和信息图。
六大框架评测结果如下:
六大框架功能对比如下:
Python机器学习与数据分析方面库
1:numpy,科学计算很方面的一个库
详细文档:http://blog.chinaunix.net/uid-21633169-id-4408596.html官方网址:http://www.numpy.org/
2:pandas 是基于 Numpy 构建的含有更高级数据结构和工具的数据分析包
官方网站:http://pandas.pydata.org/详细文档:http://www.open-open.com/lib/view/open1402477162868.html
3:Scikit-learn 机器学习库,包括分类算法,聚类算法,回归等
官方网址:http://scikit-learn.org/stable/详细文档:http://blog.csdn.net/gamer_gyt/article/details/48833361 http://my.oschina.net/u/175377/blog/84420
4:python中的其他机器学习包
参考:http://www.cnblogs.com/wentingtu/p/3513979.html5:python可视化画图包
官方网址:http://matplotlib.org/详细文档:http://old.sebug.net/paper/books/scipydoc/matplotlib_intro.html
6:scipy包 包含致力于科学计算中常见问题的各个工具箱。它的不同子模块相应于不同的应用。像插值,积分,优化,图像处理,,特殊函数等等。
详细文档:http://blog.chinaunix.net/uid-21633169-id-4437868.html官方文档:http://www.scipy.org/
7:jieba分词包,在做文本挖掘的时候会用到
管方网址:https://pypi.python.org/pypi/jieba/详细文档:http://blog.csdn.net/gamer_gyt/article/details/48089403
8:smallseg有一个开源的中文分词包
详细文档:http://www.oschina.net/p/smallseg安装方法:只需将下载的包中smallseg.py拷贝到Python安装目录的Lib文件夹中即可
9:python-graph模块:实现了很多图算法
官方文档:https://pypi.python.org/pypi/python-graph
python GUI编程包和框架:
1:wxPython模块,用于编写GUI程序,此模块常结合boa-constructor使用,具体使用方法自行百度
官方文档:http://www.wxpython.org/附;另外用于编写GUI程序的模块还有PyQt4,eric模块,还有一个PythonIDE winPython安装之后来进行Python代码的编写,里边集成的有Qt Designer来编写GUI,这个相对较为方便,类似于VC直接拉控件了
2:Tkinter模块
入门实例:http://www.cnblogs.com/kaituorensheng/p/3287652.html官方文档:https://docs.python.org/2/library/tkinter.html
Python编程的游戏库
1:PyGame模块
PyGame是一个Python的库,能够让你更容易的写出一个游戏。它提供的功能包括图片处理和声音重放的功能,并且它们能很容易的整合进你的游戏里参考实例文档:http://eyehere.net/2011/python-pygame-novice-professional-1/
官方网址:http://www.pygame.org/download.shtml
python网络编程
1:Twisted模块
用Python实现的基于事件驱动的网络引擎框架详细文档:http://blog.sina.com.cn/s/blog_704b6af70100py9n.html http://blog.csdn.net/hanhuili/article/details/9389433
管方文档:http://twistedmatrix.com/trac/
注明:Python的模块很多,当你需要用到哪个的时候再去安装,但无论是安装哪一个模块,都要注意的是版本问题,因为不同版本之间不能完全兼容,以至于在安装模块的时候出现各种奇葩错误,但小伙伴们要耐得住性子,慢慢来,更多模块会在后继继续分享。博主这里有Python2.7的安装包和各种模块插件,有需要的留言发送。
python图像处理
1:PIL
Ubuntu安装: sudo apt-get install python-imaging
详细文档: http://wenku.baidu.com/link?url=r9vOfxsGkUHzoGw3rxvw0MfDRDh7y_qop2Qfk1AtM0NrswPIy3YdJHyRS6d4Ds83-cYgYPf567Pun7sHiHNmpttwgnB7sPKBwahIazeUhPW
官方文档: http://effbot.org/imagingbook/
python文件操作包
1:os
https://docs.python.org/3.4/library/os.html
2:shutil
https://docs.python.org/3.4/library/shutil.html
以上这两个包都是python内置的package,不需要另外安装