Scrapy爬取漫客栈漫画实战

本文通过实例展示了如何使用Python的Scrapy框架高效地爬取漫客栈的漫画内容,详细介绍了爬虫的创建过程,并展示了爬取的数据结构和部分结果。经过爬取,共完成了10961次GET请求,获取了10396个1.2GB的文件,整个过程仅耗时364秒,体现了Scrapy的强大效率。
摘要由CSDN通过智能技术生成

废话不多说,直接上代码
其它自己生成的文件都不用去改,只需要在spiders文件夹内新建两个.py文件就行
1、

cd F:\编程\Python\Scrapy
Scrapy startproject mkz

2、

# in spiders\chapters.py
import scrapy


class ChapterSpider(scrapy.Spider):
    name = "chapter"
    start_urls = ["https://www.mkzhan.com/211692/"]

    def parse(self, response: scrapy.http.Response):
        for chapter in response.css("a.j-chapter-link"):
        	# 在<a>标签内有另外的标签
        	# 所以要用//text()获取所有文本
            title = chapter.xpath("..//text()").extract()
            if title is None:
                self.log("None!")
                continue
            # 获取到的文本中有"\n  "以及"     "一类
            # 所以要先strip(),再 if t != ""
            for i in 
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值