今天是这个系列的最后一篇文章了，所以我们来一个大一点的，复杂一点的程序。
今天我们还是爬豆瓣的内容，是豆瓣影评数据。我们找到一个前段时间特别火的一部皮克斯的动画片《寻梦环游记Coco》来进行今天的测试，我们要把豆瓣上这部电影的所有影评数据全部抓取下来。这里说一句题外话，我前一段时间去电影院看了这部电影，真的是良心之作，死亡的话题竟然还能这样讲述，反正我在电影院是哭的稀里哗啦的，强烈建议大家去看看这部电影，真心好看。
好了，言归正传。这部电影的影评大概有4千多篇，因此想要把所有的影评都抓取下来，就需要登录豆瓣。这里建议大家在爬虫豆瓣信息的时候用自己的小号去爬，如果用自己豆瓣的大号去爬，万一哪天被豆瓣发现了，你的大号可能就被禁用了。
首先第一步还是准备工作，今天我们需要安装Faker这个库，待会将详细介绍它的具体作用。
pip install Faker
scrapy startproject douban
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class DoubanItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
pass
class DoubanMovieCommentItem(scrapy.Item):
"""docstring for DoubanMovieCommentItem"""
useful_num = scrapy.Field()
no_help_num = scrapy.Field()
people = scrapy.Field()
people_url = scrapy.Field()
star = scrapy.Field()
comment = scrapy.Field()
title = scrapy.Field()
comment_page_url = scrapy.Field()pipelines.py中不需要做修改，因为我们的数据解析都在spider中完成了。pipelines.py
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
class DoubanPipeline(object):
def process_item(self, item, spider):
return item
class DoubanMovieCommentPipeline(object):
def process_item(self, item, spider):
return item# -*- coding: utf-8 -*-
import scrapy
from faker import Factory
from douban.items import DoubanMovieCommentItem
# import urlparse
from urllib import parse as urlparse
f = Factory.create()
class MailSpider(scrapy.Spider):
"""docstring for MailSpider"""
name = 'douban-comment'
allowed_domain = ['accounts.douban.com', 'douban.com']
start_urls = ['https://www.douban.com']
headers = {
'Accept' : 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept' : 'gzip, deflate, br',
'Accept-Language' : 'zh-CN,zh;q=0.8,en;q=0.6',
# 'Cache-Control' : 'max-age=0',
'Connection' : 'keep-alive',
'Host' : 'accounts.douban.com',
'User-Agent': f.user_agent() #每次发送请求时在头部随机生成一个UA，以防止浏览器发现是爬虫，而不是浏览器
}
formdata = {
'form_mail' : '*********', #这里是自己的豆瓣用户名
'form_password' : '***********', #这里是自己的豆瓣用户名的密码
'login' : '登录',
'redir' : 'https://www.douban.com',
'source' : 'None'
}这里是定义一个header和一个表单formdata，利用该表单来登录豆瓣。
def start_requests(self):
return [scrapy.Request(url = 'https://www.douban.com/accounts/login',
headers = self.headers,
meta = {'cookiejar' : 1},
callback = self.parse_login)]
def parse_login(self, response):
# if 'captcha_image' in response.body:
if hasattr(response.body, 'captcha_image'):
print ("Copy the link")
link = response.xpath('//img[@class="captcha_image"]/@src').extract()[0]
print (link)
captcha_solution = raw_input('captcha_solution:')
captcha_id = urlparse.parse_qs(urlparse.urlparse(link).query, True)['id']
self.formdata['captcha-solution'] = captcha_solution
self.formdata['captcha-id'] = captcha_id
return [scrapy.FormRequest.from_response(response,
formdata = self.formdata,
headers = self.headers,
meta = {'cookiejar' : response.meta['cookiejar']},
callback = self.after_login
)]
def after_login(self, response):
print ('after_login: %d' % response.status)
self.headers['Host'] = 'www.douban.com'
yield scrapy.Request(url = 'https://movie.douban.com/subject/20495023/reviews',
meta = {'cookiejar' : response.meta['cookiejar']},
headers = self.headers,
callback = self.parse_comment_url,
dont_filter = True)
yield scrapy.Request(url = 'https://movie.douban.com/subject/20495023/reviews',
meta = {'cookiejar' : response.meta['cookiejar']},
headers = self.headers,
callback = self.parse_next_page,
dont_filter = True)after_login函数会对同一个页面发起两个请求，当然你也可以把这两个请求写一个Request里面，这里只是为了方便说明问题。
这个请求就是《寻梦环游记》的影评页面，第一次得到这个页面后用parse_comment_url函数来处理，这个函数主要是获取该页影评
里的所有影评详情的url。然后再发起一次请求，这次用parse_next_page函数来处理，该函数是获取下一页的链接地址。这里要提醒
一句，在参数中，我们增加了一个dont_filter = True参数，当我们向同一个地址发起请求时，不要进行过滤。因为Scrapy会默认当向
同一个地址多次发起请求时，后面的请求会自动过滤掉，这里我们不要它过滤。
def parse_next_page(self, response):
print ('parse_next_page: %d' % response.status)
try:
next_url = response.urljoin(response.xpath('//span[@class="next"]/a/@href').extract()[0])
print ("下一页")
print (next_url)
yield scrapy.Request(url = next_url,
meta = {'cookiejar' : response.meta['cookiejar']},
headers = self.headers,
callback = self.parse_comment_url,
dont_filter = True)
yield scrapy.Request(url = next_url,
meta = {'cookiejar' : response.meta['cookiejar']},
headers = self.headers,
callback = self.parse_next_page,
dont_filter = True)
except:
print("Next page error")
return
def parse_comment_url(self, response):
print ('parse_comment_url: %d' % response.status)
for item in response.xpath('//div[@class="main review-item"]'):
comment_url = item.xpath('div[@class="main-bd"]/h2/a/@href').extract()[0]
comment_title = item.xpath('div[@class="main-bd"]/h2/a/text()').extract()[0]
print(comment_title)
print(comment_url)
yield scrapy.Request(url = comment_url,
meta = {'cookiejar' : response.meta['cookiejar']},
headers = self.headers,
callback = self.parse_comment)
def parse_comment(self, response):
print ('parse_comment: %d' % response.status)
for item in response.xpath('//div[@id="content"]'):
comment = DoubanMovieCommentItem()
comment['useful_num'] = item.xpath('//div[@class="main-panel-useful"]/button[1]/text()').extract()[0].strip()
comment['no_help_num'] = item.xpath('//div[@class="main-panel-useful"]/button[2]/text()').extract()[0].strip()
comment['people'] = item.xpath('//span[@property="v:reviewer"]/text()').extract()[0]
comment['people_url'] = item.xpath('//header[@class="main-hd"]/a[1]/@href').extract()[0]
comment['star'] = item.xpath('//header[@class="main-hd"]/span[1]/@title').extract()[0]
data_type = item.xpath('//div[@id="link-report"]/div/@data-original').extract()[0]
print("data_type: " + data_type)
if data_type == '0':
comment['comment'] = "\t#####\t".join(map(lambda x:x.strip(), item.xpath('//div[@id="link-report"]/div/p/text()').extract()))
elif data_type == '1':
comment['comment'] = "\t#####\t".join(map(lambda x:x.strip(), item.xpath('//div[@id="link-report"]/div[1]/text()').extract()))
comment['title'] = item.xpath('//span[@property="v:summary"]/text()').extract()[0]
comment['comment_page_url'] = response.url
#print comment
yield comment求。请求完之后还是做两个处理，一个是获取该页影评里的所有影评详情的url。另一个获取下一页的链接地址。这里使用了try关键
字，主要是防止到了最后一页后，程序会出错。parse_comment_url函数中，会向详细影评地址发送请求，请求发送之后，用
parse_comment来处理返回的页面，之后对数据进行解析，获取我们想要的数据，此处大部分都是xpath的解析工作。最后返回
comment对象。
最后要说一下settings.py，在settings.py中，我们需要配置几个内容。主要还是需要伪装成浏览器的样子去发出请求
- 首先是使用faker来随机生成user-agent，
from faker import Factory
f = Factory.create()
USER_AGENT = f.user_agent()- 然后禁用cookies
# Disable cookies (enabled by default)
COOKIES_ENABLED = False- 之后是设置延时
DOWNLOAD_DELAY = 1当然我们还是需要配置一下pipelines，告诉scrapy本次爬虫使用哪个pipeline。（尽管我们这次没有使用pipeline）
ITEM_PIPELINES = {
#'douban.pipelines.DoubanBookPipeline': 300,
#'douban.pipelines.DoubanMailPipeline': 600,
'douban.pipelines.DoubanMovieCommentPipeline': 900
}DEFAULT_REQUEST_HEADERS = {
'Host': 'book.douban.com',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
'Accept-Encoding': 'gzip, deflate, br',
'Connection': 'keep-alive'
}
至此代码部分就全部说明完毕，好了，我们可以在命令行终端跑一下了
scrapy crawl douban-comment -o commenInfo.csv将结果保存在commentInfo.csv中。下面是运行结果的截图，仅供参考
我们用了三篇文章来说明scrapy这个爬虫框架的使用方法，下面我们来总结一下。
- 首先使用scrapy startproject + 【项目名称】来启动和初始化一个爬虫项目
- 在spiders目录下新建自己的spider文件，当然可以新建多个spider爬虫文件，这个爬虫文件是用来解析数据的
- 在items.py定义需要返回的数据
- 在pipeline中定义处理数据的方法。在大型项目中，我们都是在这里处理数据的，spider中只是起到download页面的作用
- 在settings.py文件中配置网络请求的信息，包括，pipeline的选用，默认headers头部信息，user-agent，cookies信息等等
- 最后在命令行终端启动爬虫：scrapy crawl [爬虫名称] -o xxxxxx.csv
以上就是我这几天学习的心得，当然这里面也充满了很多挑战，也有调试不通过的时候。所以语言这个东西就是多写多练，
时间长了，自然就熟悉了。
与您共勉！
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
