scrapy项目：爬取豆瓣畅销书排行榜内容（仅爬取2020年1-3页：无保存）

目标如题

先进入cmd进入想要创建项目的文件夹，
例如cd C:\Users\MI\Desktop\python学习\python爬虫学习内容\13_scrapy1

然后在cmd输入 crapy startproject dangdang
这样就创建了一个scrapy的项目框架
如下图

进入douban

再进入douban文件夹（子）

spider文件夹内部：

其中的bestseller.py ， main.py文件在创建scrapy框架时时没有的，后续会提到
创建框架部分说完了。接着是代码部分（具体结构在另一个文章内有写链接：https://blog.csdn.net/gaoshayo/article/details/120189934）

首先在spider内创建bestseller.py ，主要的代码（定义爬取网页，爬取方式，包括暂存item的主要代码）内容均在这里。

参考即可

from ..items import DangdangItem
import bs4 ,requests
import parsel

import scrapy


class dangdangSpider(scrapy.Spider):

    name = 'dangdang'
    allowed_domain = 'http://bang.dangdang.com'
    start_urls = []
    for i in range(3): #爬取前三页
        url = 'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2020-0-1-'+str(i+1)
        start_urls.append(url)

    def parse(self, response):

        bs = bs4.BeautifulSoup(response.text,'html.parser')
        books_list = bs.find(class_="bang_list clearfix bang_list_mode").find_all('li')   
        
        for book in books_list:
            item = DangdangItem()
            item['book_name'] = book.find(class_="name").find('a')['title']
            item['book_writer'] = book.find(class_="publisher_info").text
            item['realbook_price'] = book.find(class_="price_n").text
            item['ebook_price'] = book.find(class_="price_e").text
            print(item['book_name'])
            yield item

其中

dangdangSpider()是继承了scrapy.Spider的类，内部的name =‘dangdang’ 是爬虫的名称，如果创建多个爬虫，这就是这只爬虫的唯一标识，后续启动爬虫的时候就是用这个名字来启动的
parse是由外部输入response的函数，用来改变数据格式，读取数据，暂存数据的函数。
DangdangItem()是继承了scrapy.Item的类，被对象化为item，用来以类似字典的形式储存提取的数据。
尾部的yield是将上述item送到引擎，引擎将它送到Item Pipeline（数据管道）处理。
yield类似return，但它能够多次返回信息。

除了主要代码外，还需要再items.py文件夹内定义变量，

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class DangdangItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    book_name = scrapy.Field()
    book_writer = scrapy.Field()
    realbook_price =scrapy.Field()
    ebook_price = scrapy.Field()
    
    pass

可以对照这里的变量和bestseller里提取数据的变量名称，是一样的，其实我们是先定义名称，再进行提取的。当然顺序随意 个人爱好。

接着是settings.py文件的修改

这里主要是修改头和robots协议内容如下

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False #将遵从协议改成不遵从协议

至此，文件编写基本完成。但仍然不能够运行。

因为scrapy运行方式与平时的运行方式有所区别，有特定的方式。

这里采用创建main.py文件的方式来运行，main.py文件放在最外层的文件夹内，即与scrapy.cfg同级。
在main.py文件内输入

from scrapy import cmdline
cmdline.execute([scrapy,crawl,dangdang])

这样，就启动了整个名称为 dangdang的爬虫的程序。