爬取起点小说并存入数据库

最新推荐文章于 2025-04-08 21:50:36 发布

GZ_Wiilian

最新推荐文章于 2025-04-08 21:50:36 发布

阅读量5.4k

点赞数 2

分类专栏： python笔记爬虫 MYSQL 文章标签：爬虫 scrapy

本文链接：https://blog.csdn.net/GZ_Wiilian/article/details/82792988

版权

本文介绍如何利用Python的Scrapy框架爬取起点小说网站上的信息，并详细讲解了爬取过程及数据存储到数据库的方法，为后续的数据分析和处理打下基础。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最终效果如下：

······················主程序：·······································

# -*- coding: utf-8 -*-
import scrapy
import  requests
import json
from qidian.items import QidianItem

class MyqidianSpider(scrapy.Spider):
    name = 'myqidian'
    allowed_domains = ['qidian.com']
    start_urls = ['http://www.qidian.com/all?chanId=21&orderId=&page=1&style=1&pageSize=20&siteid=1&pubflag=0&hiddenField=0']

    def parse(self, response):
        # print(response.text)

        bookList = response.xpath('//ul[@class="all-img-list cf"]/li')
        for i in bookList:
            bookId = i.xpath('./div[@class="book-img-box"]/a/@data-bid').extract()[0]