废话不多说,直接上代码
其它自己生成的文件都不用去改,只需要在spiders文件夹内新建两个.py文件就行
1、
cd F:\编程\Python\Scrapy
Scrapy startproject mkz
2、
# in spiders\chapters.py
import scrapy
class ChapterSpider(scrapy.Spider):
name = "chapter"
start_urls = ["https://www.mkzhan.com/211692/"]
def parse(self, response: scrapy.http.Response):
for chapter in response.css("a.j-chapter-link"):
# 在<a>标签内有另外的标签
# 所以要用//text()获取所有文本
title = chapter.xpath("..//text()").extract()
if title is None:
self.log("None!")
continue
# 获取到的文本中有"\n "以及" "一类
# 所以要先strip(),再 if t != ""
for i in