起点小说网小说爬取

最新推荐文章于 2023-03-03 21:28:53 发布
VIP文章 最新推荐文章于 2023-03-03 21:28:53 发布
阅读量2.6k 收藏 1
点赞数
文章标签： 小说 起点 网址json内容获取和处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45436844/article/details/101533999
版权

小说目录和网址的获取

进入官网，点击输入书名，点击搜索，进入免费试读。
打开开发者工具，刷新页面，找到小说目录json格式对应的网址
在这里插入图片描述
先获取json格式的数据

url = 'https://read.qidian.com/ajax/book/category?_csrfToken=pDSSk0OUANaaYIOXJfzVTB27IXwqdBF2qx0MEBqe&bookId=1924072'
headers = {
   'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0', }
response = requests.get(url=url, headers=headers
最低0.47元/天 解锁文章
faith °
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
语音朗读源码2.0
12-02
语音朗读2.0 in VB，新增语言选项！ 源代码！ VB语音朗读5.0（最新版）：https://download.csdn.net/download/xhyeax/8544687
超简单的使用URL读取网络资源
苞谷猿的技术bug
03-10 3757
就，建立一个URL对象，打开对应资源的输入流，读出资源，显示在手机上，再下载在手机里，然后关闭文件流和输入流。 这里用tomcat模拟了一个网站上的网络资源。 使用tomcat要先安装jdk，然后把jdk的安装路径，放入环境变量JAVA_HOME里，然后使用了免安装的tomcat所以直接启动了，接下来的，详见文档（待会和代码放一起） 很easy。。。放个图片和代码就算了吧。。。 记得授权，记得调
百度和有道还有bing的语音播报发音url接口，有女声也有男声
热门推荐
q616804668的专栏
07-25 2万+
http://tts.baidu.com/text2audio?lan=zh&ie=UTF-8&text=百度翻译女声语音播报apihttp://api.microsofttranslator.com/v2/http.svc/speak?appId=TJnIprF8gfKIzzWSJUYbWZBxOdX4nQDJK4o5BoiI42GE*&language=zh-TW&format=audio/mp
URL 源码分析
u014452148的博客
09-11 7969
URL表示统一资源定位器，指向世界上“资源”的指针万维网。资源可以是简单的文件或目录，或者它可以是对更复杂对象的引用，例如对数据库或搜索引擎的查询。这个类的作用就是URL的定位的作用，定位了每个资源符号引用的位置。整个URL大体上就是对URL内容进行规范，对URL进行解析。 构造方法是通过文件里面的端口和文件的访问主机对这个URL进行构造。 public URL(String protocol, String host, int port, String file) throws Malformed
TTS源码解析
zhupumao的博客
01-03 4924
TTS全称为“TextToSpeech”，是Android原生在文本转语音服务。本文将从TTS使用过程，对TTS源码进行分析。 主要涉及的源码有： framework\base\core\java\android\speech\tts\TextToSpeech.java framework\base/core\java/android\speech\tts\TextToSpeechSer
起点小说网爬虫
11-25
利用python去爬取起点小说网信息，并保存在world文件中。
杰奇小说网起点模板
05-17
杰奇小说网起点模板
Python喜马拉雅有声小说音频文件爬虫
地中海的博客
03-18 1万+
今天爬取的是喜马拉雅有声小说。 目标网址：https://www.ximalaya.com/youshengshu/ 分析操作开始： 首先在喜马拉雅有声小说页面，播放任意音频。 当播放音频时，打开抓包工具（加载网页后打开抓包工具，发现没有抓到数据包，刷新网页就行），这边选择媒体Media，一般的视频，音频文件都会在这里被抓取到。 下图就是抓到的音频文件。 我们尝试访问一下该接口的url，将url复制到浏览器打开。 发起访问后，跳转出了一个保存文件到本地的界面。 我们选择保存，发现多了一个类型
大创项目（记录自己的教训）
weixin_43407377的博客
11-17 6199
欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体...
TTS 相关url
Feiyue131145的博客
03-03 8356
【代码】TTS 相关url。
通过Python爬虫技术获取小说信息
毕业作品网站
06-17 3817
使用Python爬虫技术获取小说信息，包括小说名称、小说作者以及小说简介等作品信息！在实验中掌握Python的第三方库requests和lxml实验结果：通过编写代码，并合理解析页面以及多次调试解决爬虫过程中出现的问题，代码运行成功，获取到了第一页的10本小说的作者名、小说简介以及小说名称！运行截图如下：得到的txt文件截图：实验分析：本次实验通过编写爬虫代码，从网页中之间抓取信息，保存到本地文件中！较好的达到了实验前的需求！Python爬虫技术能大大方便人们的生活，很多手工操作需要大量时间，但是通过编写p
智慧学院智能化项目规划设计方案PPT(45页).pptx
05-03
智慧学院智能化项目规划设计方案PPT(45页).pptx
AO工艺设计计算(全).xls
05-03
污水处理计算书
ASP+ACCESS动态网站设计与制作(源代码+设计说明书).zip
05-03
ASP+ACCESS动态网站设计与制作(源代码+设计说明书).zip
基于matlab实现的二维渗流代码，用于模拟在二维条件下，格点所受碰撞的次数.rar
最新发布
05-03
基于matlab实现的二维渗流代码，用于模拟在二维条件下，格点所受碰撞的次数.rar
编写爬取起点小说网的多线程爬虫
03-28
以下是使用Python编写的爬取起点小说网的多线程爬虫代码： ```python import requests from lxml import etree from queue import Queue import threading # 定义爬虫类 class Spider(): def __init__(self, url, headers): self.url = url self.headers = headers self.session = requests.Session() self.session.headers.update(headers) # 获取小说列表 def get_novel_list(self): response = self.session.get(self.url) html = etree.HTML(response.text) novel_list = html.xpath('//div[@class="book-mid-info"]/h4/a/@href') return novel_list # 获取小说信息 def get_novel_info(self, novel_url): response = self.session.get(novel_url) html = etree.HTML(response.text) novel_info = {} novel_info['title'] = html.xpath('//div[@class="book-info "]/div[@class="book-info "]/h1/em/text()')[0] novel_info['author'] = html.xpath('//div[@class="book-info "]/div[@class="book-info "]/h1/span/a/text()')[0] novel_info['intro'] = html.xpath('//div[@class="book-intro"]/p/text()')[0] novel_info['word_count'] = html.xpath('//div[@class="book-info "]/div[@class="book-info "]/p/span[1]/text()')[0] return novel_info # 定义爬取线程类 class SpiderThread(threading.Thread): def __init__(self, spider, novel_queue): threading.Thread.__init__(self) self.spider = spider self.novel_queue = novel_queue def run(self): while True: try: novel_url = self.novel_queue.get(False) novel_info = self.spider.get_novel_info(novel_url) print(novel_info) except: break # 定义主函数 def main(): url = 'https://www.qidian.com/all' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} spider = Spider(url, headers) novel_list = spider.get_novel_list() # 创建小说队列 novel_queue = Queue() # 将小说列表加入队列 for novel_url in novel_list: novel_queue.put(novel_url) # 创建爬取线程 threads = [] for i in range(5): spider_thread = SpiderThread(spider, novel_queue) spider_thread.start() threads.append(spider_thread) # 等待所有线程结束 for t in threads: t.join() if __name__ == '__main__': main() ``` 该代码使用了Python的requests库和lxml库来进行网页爬取和解析，使用了多线程来提高爬取效率。首先定义了一个Spider类来实现爬取小说列表和小说信息的功能，然后定义了一个SpiderThread类来作为爬取线程，最后在主函数中创建小说队列和爬取线程，并等待所有线程结束。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值