LDF-Dicky的博客

Scrapy介绍Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加

文章旨在以小实例引导初学者理清这个号称写爬虫就如做填空题的scrapy爬虫框架的空该怎么填，比喻不当之处，欢迎指正！一、理清框架各个模块的脉络关系 一个完整的项目设计四个python文件的编写，分别是items.py、wuhanSpider.py（scrapy genspider wuHanSpider jycinema.com后生成，非系统自带）、settings.py、pipe