Python中常用的爬虫框架

利用Python中一些爬虫框架可以更加快速地写出我们需要的爬虫程序，常见的Python爬虫框架有：

1. Scrapy:这是一套比较成熟的Python爬虫框架，Scrapy官网：http://Scrapy.org/

2.Crawley:可以比较高效地攫取互联网对应的内容，官网:http://project.crawley-cloud.com/

3.Portia：可以可视化地爬取网页的框架，可以下载到本地，也可以直接使用网页版本(需要注册帐号),Portia的官网:https://portia.scrapinghub.com/

4.newspaper:用来提取新门卫新闻，文章及内容分析的Python爬虫框架，由第三方开发。git上地址:https://github.com/codelucas/newspaper

5.Python-goose:git上的地址:https://github.com/grangier/python-goose