pyhton爬虫学习（十）：常用的框架简单介绍

这里先简单的介绍几个常用的python爬虫红框，后续文章将会有详细的使用详解。

scrapy框架

是一套成熟的python爬虫框架，是使用python开发的快速、高层次的信息爬取框架，可以高效的爬取web页面并提取出我们关注的结构化数据，scrapy应用的领域很多，如网络爬虫开发，数据挖掘，数据监测，自动化测试等

Crawley框架

使用python开发出来的一款爬虫框架，致力于改变人们从互联网中提取数据的方式，让大家可以更高效的从互联网中爬取对应内容。

Portia框架

是一款允许没有任何编程基础的用户可视化的爬取网页的爬虫框架。给出你要爬取的网页中感兴趣的数据内容，通过portia框架，可以将你要爬取的信息从相似的网页中自动提取出来。

newspaper框架

是一种用来提取新闻、文章以及内容分析的python爬虫框架，更准确的说，newspaper是一个python的库，指不上这个库有第三方开发，可以归为一种框架

python-goose框架

主要是进行文章提取，本来是一款用java写的文章提取工具，后被用python重写了Goose。