scrapy的全网站爬取数据

在scrapy项目中，如需爬取多页数据，有以下几种方法：

一、直接在start_urls列表中加入需要爬取的url

二、找到下面后续的url规律，直接循环yield scrapy.Request请求

在parse()方法中，在最后加入以下代码：

for i in range(2，url总数+1):

        next_url = 与i拼接后的url

        Yield scrapy.Request(url=next_url, callback=self.parse)

三、如后续网页无规律或网页上有<下页>标签，则抓取其链接，并发送scapy.Request请求:

在爬取数据时，同时爬取<下页>标签的href，并将其与网站url拼接后赋值给next_url，在最后加上以下代码：

next_url = new_url

yield scrapy.Request.request(url=next_url, callback=self.parse)

这样就能不停地循环嵌套。

上面的网页属于同一级层次，但还一种情况，即第一层网页中的数据不能填满item，需在下一层网页中抓取：

在抓取当前页数据时，把下一层网页的url好抓取并传递给嵌套的scrapy.request请求，此scrapy.request请求与数据分析提取同级，代码如下：

yield scrapy.Reuest(url=href, callback=new_parse,meta={‘item’: copy.deepcopy(item)}

因此还需定义一个下一层网页数据处理方法:

def new_parse(self, response):

soup = BeautifulSoup(response.text, ‘html.paser’)

Item = meta[‘item’]    #将传入的item数据取出

“进行数据分析提取，并填满item中的缺项”代码

yeild item    #将数据传出

如item数据还未填满，还需再下一层，按此方法进行scrapy.Request嵌套即可。

另外scrapy采用的是异步执行方法，所以在传递item时建议采用深拷贝方法传递。