使用scrapy爬取小说网站

最新推荐文章于 2024-06-24 16:54:29 发布

风穆-Famer

最新推荐文章于 2024-06-24 16:54:29 发布

阅读量1.4k

点赞数 2

分类专栏： python scrapy 文章标签： python scrapy

本文链接：https://blog.csdn.net/c_beautiful/article/details/81298135

版权

这篇博客详细介绍了如何利用Python的Scrapy框架爬取小说网站的数据。内容包括定义items.py中的内容模板，编写book.py爬虫文件，以及设置pipelines.py进行数据处理和在settings.py中启用管道。

摘要由CSDN通过智能技术生成

声明：仅供学习交流使用

items.py ->内容模板

import scrapy

class QqduItem(scrapy.Item):

    book = scrapy.Field()
    bookId = scrapy.Field()
    chapter = scrapy.Field()
    chapterId = scrapy.Field()
    content = scrapy.Field()

book.py ->爬虫文件

# -*- coding: utf-8 -*-

import scrapy, sys
from qqdu.items import QqduItem
from scrapy.http import Request

reload(sys)
sys.setdefaultencoding("gbk")

class BookSpider<