实现爬虫技术的编程环境有很多种,Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫,为什么呢?因为Python确实很适合做爬虫,丰富的第三方库十分强大,简单几行代码便可实现你想要的功能。更重要的,Python也是数据挖掘和分析的好能手。
那么,Python爬虫一般用什么框架比较好?
1.Scrapy
项目地址:https://scrapy.org/
Scrapy是一个为了爬取网站数据,开放源码和协作框架,用于从网站中提取您需要的数据。以一种快速,简单,但可扩展的方式,提取结构性数据而编写的应用框架。
可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中,用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。