scrapy一般的解析操作都存储在spider源文件当中,以海賊王漫畫_1036已更新_海賊王漫畫在線閱讀解析为例
第一步:创建项目及文件
python的scrapy工程的创建步骤_ragerabbitr的博客-CSDN博客
第二步:初始的参数调整
scrapy的初始化的一些设定_ragerabbitr的博客-CSDN博客
第三步:进入spider.py爬虫文件中
解释:所有的start_urls中的地址scrapy都会发送请求,然后返回的每个response用parse函数用来解析。scrapy可以直接用xpath解析,不用导入各种包了,方便很多。也可以用bs4和re但是要自己导入包,不过用xpath之后,bs4基本没怎么用过,re正则还是会用的,有时候匹配字符串用。
整体代码如下,解析的是漫画每个章节的标签:
import scrapy
class MangabzSpider(scrapy.S