总结:虽然是第二次爬取,但是多多少少还是遇到一些坑,总的结果还是好的,scrapy比多线程多进程强多了啊,中途没有一次被中断过。
此版本是盘多多爬取数据的scrapy版本,涉及数据量较大,到现在已经是近500万的数据了。
1,抓取的内容
主要爬取了:文件名,文件链接,文件类型,文件大小,文件浏览量,文件收录时间
一,scrapy中item.py代码
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class PanduoduoItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
# pass
# 文件名称
docName = scrapy.Field()
# 文件链接
docLink = scrapy.Field()
# 文件分类
docType = scrapy.Field()
# 文件大小
docSize = scrapy.Field()
# 网盘类型
docPTpye = scrapy.Field()
# 浏览量
docCount = scrapy.Field()
# 收录时间
docTime = scrapy.Field()
在spider进行抓取出现的问题,(1),因为没有设置请求头信息,盘多多浏览器会返回403错误,不让进行数据的爬取,所以这里我们要进行user-agent的设置,(settings.py中)
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
COOKIES_ENABLED = False
ROBOTSTXT_OBEY = False
(2)直接在def parse(self, response):
方法中打印response.body
会返回不是utf8的编码,(无奈的是没有做相应的处理,还是爬出来了。)
二,spider里面的代码
(1),在spider中遇到的问题还是有的,比如table下的tbody标签获取,因为内容都被tbody包裹起来的,最后测试半小时,我们可以直接获取table下的tr标签就可以了。
(2),在tr下有多个不规则的td标签,我们可以直接根据td[index]来获取相对于的数据,
贴上代码: