【爬虫实战】起点中文网小说的爬取

最新推荐文章于 2024-06-19 18:03:00 发布
最新推荐文章于 2024-06-19 18:03:00 发布
阅读量1.3w 收藏 29
点赞数 3
分类专栏： 爬虫 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012757419/article/details/103728095
版权
本文介绍了如何使用爬虫技术抓取起点中文网上的小说《大千界域》。首先解析HTML获取章节URL，但由于起点的反爬策略，常规方法无法获取章节内容。接着，通过分析网络请求，找到通过AJAX获取的JSON数据，从中提取卷ID，进而获取每个卷的章节链接，实现完整爬取。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

　　首先打开起点中文网，网址为：https://www.qidian.com/

　　本次实战目标是爬取一本名叫《大千界域》的小说，本次实战仅供交流学习，支持作者，请上起点中文网订阅观看。

 

　　我们首先找到该小说的章节信息页面，网址为：https://book.qidian.com/info/3144877#Catalog

　　

　　点击检查，获取页面的html信息，我发现每一章都对应一个url链接，故我们只要得到本页面html信息，然后通过Beautifulsoup，re等工具，就可将所有章节的url全部得到存成一个url列表然后挨个访问便可获取到所有章节内容，本次爬虫也就大功告成了！

 

 

 

　　按照我的想法，我用如下代码获取了页面html，并在后端输出显示，结果发现返回的html信息不全，包含章节链接的body标签没有被爬取到，就算补全了headers信息，还是无法获取到body标签里的内容，看来起点对反爬做的措施不错嘛，这条道走不通，咱们换一条。

import requests


def get():

    url = 'https://book.qidian.com/info/3144877#Catalog'

    req = requests.get(url)

    print(req.text)


if __name__ == '__main__':

    get()

       既然这个页面是动态加载的，故可能应用ajax与后端数据库进行了数据交互，然后渲染到了页面上，我们只需拦截这次交互请求，获取到交互的数据即可。

打开网页https://book.qidian.com/info/3144877#Catalog，再次右键点击检查即审查元素，因为是要找到数据交互，故点击network里的XHR请求，精确捕获XHR对象，我们发现一个url为https://book.qidian.com/ajax/book/category?_csrfToken=1iiVodIPe2qL9Z53jFDIcXlmVghqnB6jSwPP5XKF&bookId=3144877的请求返回的response是一个包含所有卷id和章节id的json对象，这就是我们要寻找的交互数据。

        通过如下代码，便可获取到该json对象

import requests

import random


def random_user_agent():

    list = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',

            'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/44.0.2403.155 Safari/537.36',

            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (
最低0.47元/天 解锁文章
Python爬虫：抓取小说网站（如起点、红袖添香）小说信息、章节内容和作者
2201_76125261的博客
03-19 802
随着互联网的发展，越来越多的小说网站涌现出来，其中一些网站如起点中文网和红袖添香等，吸引了大量的读者和作者。通过Python爬虫技术，我们可以抓取这些网站中的小说信息、章节内容、作者等数据，并进一步进行数据分析、情节研究或者构建小说推荐系统等。本文介绍了如何使用Python爬虫抓取小说网站（如起点中文网和红袖添香）上的小说信息、章节内容和作者，并对数据进行了清洗和存储。我们可以从小说的目录中获取每个章节的链接，然后依次抓取每个章节的内容。我们也可以用类似的方法从红袖添香抓取小说的基本信息和章节内容。
【python实战】爬取起点中文网自制小说阅读器
公号：一条coding
06-20 1万+
像听喜马拉雅一样听小说
第4期-通过起点中文网爬取小说
我是瞎老弟
09-07 4598
起点中文网的历史比较悠久，一般来说，新的小说和古老的小说的格式恐怕是不太一样的，甚至vip章节和普通章节也是不一样的，因此，我们就尽量挑选最新的小说研究一下。 首先是排行榜的地址 https://www.qidian.com/rank/hotsales/ 直接通过requests发起请求，就可以获得所有的数据，没有任何的反爬措施，可以说，起点是到目前为止见到过的最友好的网站，轻松就可以拿到排行榜数据。 然后我们选择当前最热门的小说《大奉打工人》 https://book.qidian.com/
爬虫实战01--爬取起点中文网小说
weixin_42075154的博客
03-29 3404
废话不多说，直接上代码？？？ """ 实战名：起点中文网 爬取 url: https://www.qidian.com/ 时间：2020/3/29 版本：0.0.1 作者：小川Class """ import urllib.request as ur import user_agent import json import re # 模拟登录 def getRequest(url): ...
自测可用的起点中文网VIP免费看油猴插件
热门推荐
weixin_74774974的博客
02-20 3万+
比如说打开宿命之环VIP收费章节。需要什么功能可以自己启用。所有内容都可以免费看。觉得有用的话记得三连。
多线程多进程的python爬虫脚本项目（可爬起点小说VIP内容）
Du_XiaoNan的博客
06-19 3271
在当今的网络时代，信息传播趋于自由化且高速发展，无数的信息倾泻而下，可以从互联网获取的信息类型有很多，例如新闻、博客、论坛，乃至小说。对于读者来说，如果能有一种程序它可以自动地从网络上抓取我们需要的小说，那么阅读将会变得更加快捷和便利。为此，我计划设计并实现一个网络爬虫程序，以自动爬取起点中文网的特定小说并下载到本地。
爬虫实战——起点中文网小说的爬取
banjianmu3630的博客
08-08 3596
　　首先打开起点中文网，网址为：https://www.qidian.com/ 　　本次实战目标是爬取一本名叫《大千界域》的小说，本次实战仅供交流学习，支持作者，请上起点中文网订阅观看。 　　我们首先找到该小说的章节信息页面，网址为：https://book.qidian.com/info/3144877#Catalog 　　 　　点击检查，获取页面的html信息，我发...
python爬虫---起点中文网免费小说爬取下载-实战项目
tmyzxy1314的博客
01-13 3661
python爬虫---起点中文网免费小说爬取下载-实战项目
中文起点网小说爬虫
weixin_38185649的博客
06-29 1157
import os import requests from pyquery import PyQuery as pq import re headers = { "referer": "https://read.qidian.com/chapter/0aFVD3Gm6QUz2wAI5wVpbA2/MMVtN_lV-wDM5j8_3RRvhw2", "User-Agent": "MMozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/53
起点小说网爬虫
11-25
利用python去爬取起点小说网信息，并保存在world文件中。
Python爬虫实战—起点小说
qq_53336761的博客
04-15 1万+
具体步骤包括搜索小说、获取小说章节链接、获取章节内容和保存小说内容。打开起点小说网站，搜索要爬取的小说，进入小说的阅读页面析页面结构，获取小说的每个章节的链接，通过网络请求获取每个章节的内容解析章节内容，提取出小说正文将小说正文保存到本地文件中。我们要爬取的是起点小说网站的小说内容，因此我们需要先找到小说的阅读页面，然后通过分析页面结构和网络请求，获取小说的章节内容。我们可以通过搜索小说名称，进入小说的阅读页面，然后分析页面结构，获取小说的章节链接。keyword = '斗破苍穹'# 获取小说章节链接。
python爬取起点中文网小说_爬虫实战——起点中文网小说的爬取
weixin_39603327的博客
11-29 2885
本次实战目标是爬取一本名叫《大千界域》的小说，本次实战仅供交流学习，支持作者，请上起点中文网订阅观看。点击检查，获取页面的html信息，我发现每一章都对应一个url链接，故我们只要得到本页面html信息，然后通过Beautifulsoup，re等工具，就可将所有章节的url全部得到存成一个url列表然后挨个访问便可获取到所有章节内容，本次爬虫也就大功告成了！按照我的想法，我用如下代码获取了页面ht...
Python爬虫编程思想（48）：项目实战：抓取起点中文网的小说信息
一个被知识诅咒的人
10-09 981
本文会利用requests库抓取起点中文网上的小说信息，并通过XPath提取相关的内容，最后将经过提取的内容保存到Excel文件中。本例需要使用第三方的xlwt库，该库用来通过Python操作Excel文件，需要使用下面的命令安装xlwt库。 pip install xlwt 使用xlwt库非常简单，首先需要创建一个workbook，相当于一个Excel文件，然后在workbook中添加若干个Sheet，接下来在每一个Sheet中的指定单元格（Cell）添加文本，最后使用...
Python简单爬取起点中文网小说（仅学习）
Sakuyo的弼码温生活
01-24 7732
目录前言一、爬虫思路二、使用步骤1.引入库2.读取页面3.分析HTML3.从标签中取出信息4.爬取正文总结 前言 实习期间自学了vba，现在开始捡回以前上课学过的python，在此记录学习进程 本文内容仅用于学习，请勿商用 一、爬虫思路 无需登录的页面只需要用到简单爬虫，获取小说目录、通过目录获取小说正文即可。 二、使用步骤 1.引入库 代码如下（示例）： import requests,sys from bs4 import BeautifulSoup 2.读取页面 代码如下（示例）： targe
起点中文网爬虫
weixin_43962547的博客
02-14 1万+
python3 起点中文网架空历史小说爬虫 尝试爬取起点中文网的全部架空历史小说的一些信息。 信息包括：小说网址、书名、作者、简介、评分、评论数、字数。 首先去到起点的架空历史小说排行的网页：https://www.qidian.com/allchanId=5&subCateId=22&orderId=&style=1&pageSize=20&siteid=...
python爬虫——爬取起点中文网作品信息
梦醒时候的博客
12-13 1万+
首先打开起点中文网 点开红圈内的全部作品选项，本博客爬取这里面的作品信息。 接下来爬取所有作品信息，注意，不仅仅只是该面的所有作品信息，而是全部作品信息。 网页下面有跳转其他页的选项。 我们需要找到网址规律，用来编写一个自动遍历所有页面网址的程序。 开始进来是这样的网址 https://www.qidian.com/all 但是点击下面的跳页选项中的1,会发现变成这样子了。
爬取起点中文网的小说
weixin_43716908的博客
11-23 670
运行无反应，也不报错，啥毛病?? import xlwt import requests from lxml import etree import time all_info_list=[] def get_info(url): html=requests.get(url) selector=etree.HTML(html.text) infos=selector.xp...
手把手教你用Python网络爬虫实现起点小说下载
这家伙很懒，什么都没有留下
01-22 4390
通过以上步骤，你应该已经能够使用Python网络爬虫实现起点小说的下载。请记住，在使用爬虫时，务必遵守相关法律法规和网站的使用协议。尊重网站的权益和用户的数据，避免对网站的正常运行造成干扰或侵犯他人的隐私。
python爬虫，爬起点小说网小说
weixin_43894586的博客
12-28 1295
说明哦！不能爬vip章节只能爬可见的，@_@技术不够__ 首先就是python模块： import requests # 这个就是爬虫模块哦 from lxml import etree #是一个python库 import os #这个是创建文件夹的爬的小说要放文件中 说明哦，如果这些模块你都没有安装那我教你一个简单的方法，你把import requ...
使用 scrapy爬取起点中文网图片
最新发布
12-12
使用Scrapy爬取起点中文网的图片可以通过以下步骤实现： 1. **安装Scrapy**：首先，确保你的环境中已经安装了Scrapy。如果没有安装，可以使用pip进行安装： ```bash pip install scrapy ``` 2. **创建Scrapy项目**：在你的工作目录下创建一个新的Scrapy项目： ```bash scrapy startproject qidian_images ``` 3. **创建爬虫**：进入项目目录并创建一个新的爬虫： ```bash cd qidian_images scrapy genspider qidian_spider qidian.com ``` 4. **编写爬虫代码**：打开`qidian_spider.py`文件，编写爬虫代码。以下是一个示例代码，用于爬取起点中文网的小说封面图片： ```python import scrapy from scrapy.http import Request class QidianSpiderSpider(scrapy.Spider): name = 'qidian_spider' allowed_domains = ['qidian.com'] start_urls = ['https://www.qidian.com/'] def parse(self, response): # 找到所有小说封面图片的URL image_urls = response.css('img.cover::attr(src)').getall() for image_url in image_urls: if image_url.startswith('//'): image_url = 'https:' + image_url yield Request(image_url, callback=self.save_image) def save_image(self, response): # 获取图片的URL image_url = response.url # 获取图片的二进制内容 image_content = response.body # 获取图片的文件名 image_name = image_url.split('/')[-1] # 保存图片到本地 with open(f'images/{image_name}', 'wb') as f: f.write(image_content) ``` 5. **运行爬虫**：在项目目录下运行爬虫，并指定输出目录： ```bash scrapy crawl qidian_spider -o images.json ``` 6. **保存图片**：为了将图片保存到本地，需要在`settings.py`文件中添加以下配置： ```python import os IMAGES_STORE = os.path.join(os.path.dirname(__file__), 'images') ``` 并在`settings.py`中启用图片下载中间件： ```python ITEM_PIPELINES = { 'scrapy.pipelines.images.ImagesPipeline': 1, } IMAGES_URLS_FIELD = 'image_urls' IMAGES_STORE = 'images' ``` 7. **启动爬虫**：确保你已经创建了`images`文件夹，然后启动爬虫： ```bash scrapy crawl qidian_spider ``` 通过以上步骤，你可以使用Scrapy爬取起点中文网的图片并保存到本地。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值