利用scrapy框架爬取百度阅读书籍信息

项目需求：爬取百度阅读的榜单图书的信息，如：书名、评分、作者、出版方、标签、价格，生成一个csv文件。

爬取起始网站：https://yuedu.baidu.com/rank/hotsale?pn=0

项目的大致流程：创建spider工程项目，创建spider爬虫，定义相关字段，分析页面信息......

由于scpapy框架，之间存在相互联系，针对此项目不同的文件需要进行相关的项目，一下通过代码简单介绍。

先看spider代码：

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractor import LinkExtractor
from ..items import BookItem

class Top200Spider(scrapy.Spider):
    name = 'top200'
    allowed_domains = ['yuedu.baidu.com']
    start_urls = ['https://yuedu.baidu.com/rank/hotsale?pn=0']

    #解析书籍数据列表
    def parse(self, response):
       #提取每一本书籍页面的链接
        le = LinkExtractor(restrict_css='a.al.title-link')
        for link in le.extract_links(response):
            yield scrapy.Request(link.url,callback=self.parse_book)

        #提取下一页列表的链接
        url = response.css('div.pager a.next::attr(href)').extract_first()
        #判断是否存在下一页
        if url:
            url = response.urljoin(url)
            yield scrapy.Request(url,callback=self.parse)

    def parse_book(self,response):
        sel = response.css('div.content-block')

        item = BookItem()
        #书名
        item['name'] = sel.css('h1.book-title::attr(title)').extract_first()
        #评分
        item['rating'] = sel.css('div.doc-info-score span.doc-info-score-value::text').extract_first()
        #作者
        item['authors'] = sel.css('ul.doc-info-org li.doc-info-author a::text').extract_first()
        #版权方
        item['publisher'] = sel.css('ul li').xpath('.//span[contains(string(.),"版权方")]/../a/text()').extract_first()
        #标签
        item['tags'] = sel.css('div.content a::attr(title)').extract()
        #价格
        item['price'] = sel.css('div.price-info span.numeric::text').extract()

        yield item

注意点：Item类需要导入，在Items文件中进行字段的定义，见代码：

import scrapy

class BookItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()
    rating = scrapy.Field()
    authors = scrapy.Field()
    publisher = scrapy.Field()
    tags  = scrapy.Field()
    price = scrapy.Field()

注意：在爬取网站前，先到shell中进行测试，看通过选择器能不能获取字段信息。还需要在setting文件中进行相关的设置，因为好多网站设有反爬虫技术，所以我们可以先访问robots.txt 文件，查看允许爬取的内容。在setting中设置，见代码：

USER_AGENT = 'Baiduspider'   # 更改robots文件能够访问的请求头

最后，运行爬虫：生成books.csv文件。

scrapy crawl top200 -o books.csv