Python开发安装的一些常用模块

标签: wxpythonseleniumpyqtMySQLdbBeautifulSoup
5697人阅读 评论(3) 收藏 举报
分类:

==========================================================================
        本文主要是博主自己看到的或者了解的,但更大一部分是博主要使用的一些python模块,如有错误,还望大家指正     
        windos下安装第三方模块时若出错请参考:http://blog.csdn.net/gamer_gyt/article/details/45113605                  
        交流QQ:1923361654                                                                                                                                   
        禁止转载:需转载请联系博主:E-mail:Thinkgamer@163.com/QQ:1923361654      
==========================================================================

Python包管理工具,可以很方便的安装第三方模块

1:setuptools

       Ubuntu 安装:sudo apt-get install python-setuptools
       windows安装:下载工具包,命令行进入其目录,执行
             python setup.py build  
             python setup.py install
       下载地址:https://pypi.python.org/pypi/setuptools/
        详细使用教程:http://www.360doc.com/content/14/0306/11/13084517_358166737.shtml

2:pip(建议使用pip管理自己的包)

      Ubuntu 安装:sudo apt-get install python-pip
      windows安装:下载工具包,命令行进入其目录,执行
               python setup.py build  
               python setup.py install
     下载地址:https://pypi.python.org/pypi/pip/
     详细使用教程:http://www.aikaiyuan.com/6918.html


python爬虫模块的相关包和框架

1:BeautifulSoup

       关于BeautifulSoup模块主要用于规范化网页源代码,利用其一些特定的解析标签函数来分析网页,的得到一些特定的内容,用起来方便简单容易入门,但仍然有一些弊端,比如说对于网页中含有js代码的就不能有效读取与分析,所以常结合正则表达式来进行使用,效率特别好
       详细教程:http://beautifulsoup.readthedocs.org/zh_CN/latest/
       安装参考:http://blog.csdn.net/gamer_gyt/article/details/45113605

2:urllib 和 urllib2

     两者功能都十分强大,接受URL请求进行相应的解析
     urllib详解:http://python.jobbole.com/81478/
     urllib2详解:http://cuiqingcai.com/947.html
     两者的区别:http://www.cnblogs.com/yuxc/archive/2011/08/01/2124073.html

3:Request模块

      提供与web进行交互,比如提交表单信息等
      参考教程:http://blog.csdn.net/iloveyin/article/details/21444613                           http://blog.163.com/power_mr/blog/static/138744007201392492354260/

4:Scrapy

      Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
     下载地址:http://scrapy.org/
      中文文档:http://scrapy-chs.readthedocs.org/zh_CN/latest/

5:其他的python爬虫框架包括:

     1. Crawley: Scraping Framework based on Non Blocking I/O operations.https://github.com/jmg/crawley

     2. portia: Visual scraping for Scrapyhttps://github.com/scrapinghub/portia

     3. newspaper: Article scraping & curationhttps://github.com/codelucas/newspaper
     4. python-goose: 提取出文章的主体https://github.com/xgdlm/python-goosehttps://github.com/grangier/python-goose
         Python-goose项目是用Python重写的Goose,Goose原来是用Java写的文章提取工具。Python-goose的目标是给定任意资讯文章或者任意文章类的网页,不仅提取出文章的主体,同时提取出所有元信息以及图片等信息,支持中文网页。
         Python-goose可提取的信息包括:
         文章主体内容
         文章主要图片
         文章中嵌入的任何Youtube/Vimeo视频
         元描述
         元标签

python操作数据库模块

1:MySQLdb模块

        此模块用于连接MySQL数据库,没有他是万万不能连接的,有了他也不一定好使,常见错误便是好多人在导入这个包的时候,不注意大小写,以至于提示无此模块
        详细文档:http://www.yiibai.com/python/python_mysql.html
        下载地址:https://pypi.python.org/pypi/MySQL-python/1.2.5

2:sqlite3模块

      python2.5以后内置了sqlite3模块,是一个轻量级的数据库
      详细文档:http://www.cnblogs.com/yuxc/archive/2011/08/18/2143606.html

python 的 Web框架

这方面的模块较多,但小编使用的django框架
==============================================以下为转载

1.Zope2

        Zope 2是一款基于Python的Web应用框架,是所有Python Web应用程序、工具的鼻祖,是Python家族一个强有力的分支。Zope 2的“对象发布”系统非常适合面向对象开发方法,并且可以减轻开发者的学习曲线,还可以帮助你发现应用程序里一些不好的功能。
       下载地址:http://zope2.zope.org/releases

2.Web2py

      Web2py是一个用Python语言编写的免费的开源Web框架,旨在敏捷快速的开发Web应用,具有快速、可扩展、安全以及可移植的数据库驱动的应用,遵循LGPLv3开源协议。
      Web2py提供一站式的解决方案,整个开发过程都可以在浏览器上进行,提供了Web版的在线开发,HTML模版编写,静态文件的上传,数据库的编写的功能。其它的还有日志功能,以及一个自动化的admin接口。 
     下载地址:http://web2py.com/examples/default/download
     相关阅读:[开源推荐]企业级Web框架Web2py

3.Web.py

      Web.py是一个轻量级的开源Python Web框架,小巧灵活、简单并且非常强大,在使用时没有任何限制。目前Web.py被广泛运用在许多大型网站,如西班牙的社交网站Frinki、主页日平均访问量达7000万次的Yandex等。
      安装地址:http://webpy.org/install
      相关阅读:[开源推荐]小巧灵活的Web框架Web.py

4.Pyramid

    Pyramid也是一款轻量级的开源Python Web框架,是Pylons项目的一部分。Pyramid只能运行在Python 2.x或2.4以后的版本上。在使用后端数据库时无需声明,在开发时也不会强制使用一些特定的模板系统。
    下载地址:http://www.pylonsproject.org/projects/pyramid/download

5.Django

     Django是一个开源的Web框架,并且采用MVC设计模式。它是使用非常广泛的Python Web框架,包含许多非常实用的库来加速Web开发。
     下载地址:https://www.djangoproject.com/download/

6.CubicWeb 

     CubicWeb宣扬自己不仅是一个Web开发框架,而且还是一款语义Web开发框架。CubicWeb使用关系查询语言(RQL Relation Query Language)与数据库之间进行通信。
     下载地址:http://docs.cubicweb.org/admin/setup

      下面这些信息图是该六大框架的评测图和信息图。
      六大框架评测结果如下:
 

  六大框架功能对比如下:


Python机器学习与数据分析方面库

1:numpy,科学计算很方面的一个库

   详细文档:http://blog.chinaunix.net/uid-21633169-id-4408596.html
   官方网址:http://www.numpy.org/

2:pandas 是基于 Numpy 构建的含有更高级数据结构和工具的数据分析包

   官方网站:http://pandas.pydata.org/
   详细文档:http://www.open-open.com/lib/view/open1402477162868.html

3:Scikit-learn 机器学习库,包括分类算法,聚类算法,回归等

   官方网址:http://scikit-learn.org/stable/
   详细文档:http://blog.csdn.net/gamer_gyt/article/details/48833361    http://my.oschina.net/u/175377/blog/84420

4:python中的其他机器学习包

   参考:http://www.cnblogs.com/wentingtu/p/3513979.html

5:python可视化画图包

  官方网址:http://matplotlib.org/
  详细文档:http://old.sebug.net/paper/books/scipydoc/matplotlib_intro.html

6:scipy包 包含致力于科学计算中常见问题的各个工具箱。它的不同子模块相应于不同的应用。像插值,积分,优化,图像处理,,特殊函数等等。

  详细文档:http://blog.chinaunix.net/uid-21633169-id-4437868.html
  官方文档:http://www.scipy.org/

7:jieba分词包,在做文本挖掘的时候会用到

   管方网址:https://pypi.python.org/pypi/jieba/
   详细文档:http://blog.csdn.net/gamer_gyt/article/details/48089403

8:smallseg有一个开源的中文分词包

   详细文档:http://www.oschina.net/p/smallseg
   安装方法:只需将下载的包中smallseg.py拷贝到Python安装目录的Lib文件夹中即可

9:python-graph模块:实现了很多图算法

   官方文档:https://pypi.python.org/pypi/python-graph

python GUI编程包和框架:

1:wxPython模块,用于编写GUI程序,此模块常结合boa-constructor使用,具体使用方法自行百度

   官方文档:http://www.wxpython.org/   
   附;另外用于编写GUI程序的模块还有PyQt4,eric模块,还有一个PythonIDE winPython安装之后来进行Python代码的编写,里边集成的有Qt Designer来编写GUI,这个相对较为方便,类似于VC直接拉控件了

2:Tkinter模块

   入门实例:http://www.cnblogs.com/kaituorensheng/p/3287652.html
   官方文档:https://docs.python.org/2/library/tkinter.html

Python编程的游戏库

1:PyGame模块

   PyGame是一个Python的库,能够让你更容易的写出一个游戏。它提供的功能包括图片处理和声音重放的功能,并且它们能很容易的整合进你的游戏里
   参考实例文档:http://eyehere.net/2011/python-pygame-novice-professional-1/
   官方网址:http://www.pygame.org/download.shtml

python网络编程

1:Twisted模块

   用Python实现的基于事件驱动的网络引擎框架
   详细文档:http://blog.sina.com.cn/s/blog_704b6af70100py9n.html       http://blog.csdn.net/hanhuili/article/details/9389433
   管方文档:http://twistedmatrix.com/trac/


注明:Python的模块很多,当你需要用到哪个的时候再去安装,但无论是安装哪一个模块,都要注意的是版本问题,因为不同版本之间不能完全兼容,以至于在安装模块的时候出现各种奇葩错误,但小伙伴们要耐得住性子,慢慢来,更多模块会在后继继续分享。博主这里有Python2.7的安装包和各种模块插件,有需要的留言发送。


python图像处理

1:PIL

     Ubuntu安装:  sudo apt-get install python-imaging

     详细文档:       http://wenku.baidu.com/link?url=r9vOfxsGkUHzoGw3rxvw0MfDRDh7y_qop2Qfk1AtM0NrswPIy3YdJHyRS6d4Ds83-cYgYPf567Pun7sHiHNmpttwgnB7sPKBwahIazeUhPW

     官方文档:       http://effbot.org/imagingbook/


python文件操作包

1:os

https://docs.python.org/3.4/library/os.html

2:shutil

https://docs.python.org/3.4/library/shutil.html

以上这两个包都是python内置的package,不需要另外安装

2
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    Thinkgamer微博
    个人微信,一起交流!

     扫一扫,关注我




    个人资料
    • 访问:756163次
    • 积分:9460
    • 等级:
    • 排名:第1976名
    • 原创:212篇
    • 转载:22篇
    • 译文:2篇
    • 评论:273条
    个人简介
    姓名:Thinkgamer

    Github:https://github.com/thinkgamer

    主攻:云计算/python/数据分析

    程度:熟悉/熟悉/熟悉

    微信:gyt13342445911

    Email:thinkgamer@163.com

    工作状态:在职ing

    心灵鸡汤:只要努力,你就是下一个大牛...

    hadoop/spark/机器学习群:279807394(大神建的群,蹭个管理员)

    欢迎骚扰........
    博客专栏
    最新评论