scrapy实现二级页面爬取（以小说为例）

1.scrapy图解
2.创建项目

scrapy startproject 项目名

创建后的目录

3.编写字段
在items.py中编写需要的字段，这里就写小说的章节和内容

class XiaoshuoItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()


    #章节
    page = scrapy.Field()
    #内容
    content = scrapy.Field()

4.创建爬虫文件

scrapy genspider 文件名  域名

创建成功之后，在spiders中将会出现一个文件

文件里面是这样的

注意：parse方法不能修改名字，不然会报错，用来实现爬取网页
下面是案例：
由于小说每章的内容在下一个页面，我们需要进入下一个页面爬取数据需要重新再定义一个方法。同时，parse方法需要将下一个页面的路径和数据等传递给第二个方法。

class WangyouSpider(scrapy.Spider):
    name = 'wangyou'
    allowed_domains = ['www.800txt.net']
    start_urls = ['https://www.800txt.net/book_112506/']

    def parse(self, response):
		#节点
        node_list = response.xpath("//dl/dd")
        for obj in node_list:
        	#章节
            page = obj.xpath('./a/text()')[0].extract()
            #二级页面路径
            page_href = obj.xpath('./a/@href')[0].extract()
            page_href = self.start_urls[0]+page_href
			#将page赋值给item中，用来之后的抛出
            item = XiaoshuoItem()
            item['page'] = page

            yield scrapy.Request(url=page_href,callback=self.sec_handler,meta={'item':item})

scrapy.Request的常用参数：
url：下一个页面的路径
callback：指定该请求返回的Response，由那个函数来处理。
meta：比较常用，在不同的请求之间传递数据使用的。字典dict型

第二个方法：用来爬取小说的内容

    def sec_handler(self,response):
        item = response.meta['item']
		#获取内容
        content_list = response.xpath('//div[@id="content"]/text()')
        #处理，把字符串提取出来，并去掉空格
        conecnt = ''
        for data in content_list:
            conecnt+=data.extract().replace(' ','')
		#赋值并抛出item
        item['content'] = conecnt
        return item

5.启动爬虫

scrapy crawl 爬虫名 -o 文件名.格式

格式有以下几种：

到此为止，就成功了！