0开始学py爬虫（学习笔记)（Scrapy框架）(豆瓣top250)

流程和爬职友的一样，这里只有top250的爬虫

这里的第2页，直接在start_urls的位置循环出来

# 运用scrapy的知识，爬取豆瓣图书TOP250前2页的书籍（50本）的短评数据（包括书名、评论ID、短评内容），并存储成Excel。
#
import scrapy
import bs4
from ..items import SdoubanItem

class Sdouban(scrapy.Spider):
    name="sdouban"
    allowed_domins=['https://book.douban.com']
    start_urls=[]
    for x in range(0,100,25):
        start_urls.append('https://book.douban.com/top250?start='+str(x))

    def parse(self,response):
        bs=bs4.BeautifulSoup(response.text,'html.parser')
        data_list=bs.find_all('tr',class_='item')
        for data in data_list:
            real_url=data.find("div",class_='pl2').find('a')['href']+'/blockquotes'
            yield scrapy.Request(real_url,callback=self.parse_job)
    
    def parse_job(self,response):
        bs=bs4.BeautifulSoup(response.text,'html.parser')
        bookname=bs.find(id='content').find('h1').text
        item=SdoubanItem()
        c_list=bs.find(class_="blockquote-list score bottom-line").find_all('figure')
        for data in c_list:
            item['bookname']=bookname
            item['comment']=data.text
            item['commentdetail']=data.find('a')['href']
            yield item