爬取起点小说

最新推荐文章于 2024-08-23 23:30:41 发布
最新推荐文章于 2024-08-23 23:30:41 发布
阅读量1w 收藏 17
点赞数 15
分类专栏： python 文章标签： bs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KUKI123321/article/details/53586025
版权
本文介绍如何利用BeautifulSoup（BS）和正则表达式（re）爬取起点小说网站上的所有免费完本小说。首先分析小说目录结构，接着探讨如何获取并打开每个章节的URL，最后展示部分代码实现。
摘要由CSDN通过智能技术生成

   倒霉催的熊博主又回来了，恩。。你没有看错，本熊并没有冬眠，而是在各种搞事搞事搞事（这样说话是会挨揍的）。。。我们的目标是搞事情！！！！进入正题，应用BS和正则爬取起点小说所有免费完本小说（听起来就好口怕）


这一篇与接下来的一篇将会是姊妹篇，先剧透下，下一篇博文同样是爬取起点小说的所有免费完本小说，区别在方法不同，bs+re   VS  scrapy 。Bagin   Fight！！！

一般想要爬取所有小说之前都是先要搞一个家伙的，那么，我们先分析下这些到底有什么套路


这是起点小说里有关免费完本的部分内容，打开第一个小说的第一章

打开网页源代码可以很容易的找到对应的位置

最低0.47元/天 解锁文章
菜鸟程序熊
关注
专栏目录
python爬取vip小说章节_python 爬取起点小说vip章节（失败）
weixin_39624705的博客
11-20 6001
今天心血来潮，想爬取起点vip小说章节，花费了足足0.27大洋后，悟出来一个人生道理，这个应该是爬不下来。但是这0.27大洋也教会了我两个知识点。1.服务器只会响应客户端的请求，不会主动给客户端发送信息例如我爬取的这一章vip章节image.png客户端就会一直向服务器发送checkStatus?_csrfToken=w7RePr18qXzxByPdIn0h7iQtII0AC4z8oPMIXioz...
python爬取起点小说_Python简单爬取起点中文网小说（仅学习）
weixin_28707365的博客
02-10 2864
前言实习期间自学了vba，现在开始捡回以前上课学过的python，在此记录学习进程本文内容仅用于学习，请勿商用一、爬虫思路无需登录的页面只需要用到简单爬虫，获取小说目录、通过目录获取小说正文即可。二、使用步骤1.引入库代码如下(示例)：import requests,sysfrom bs4 import BeautifulSoup2.读取页面代码如下(示例)：target = 'https://b...
Python爬虫实战—起点小说
qq_53336761的博客
04-15 8690
具体步骤包括搜索小说、获取小说章节链接、获取章节内容和保存小说内容。打开起点小说网站，搜索要爬取的小说，进入小说的阅读页面析页面结构，获取小说的每个章节的链接，通过网络请求获取每个章节的内容解析章节内容，提取出小说正文将小说正文保存到本地文件中。我们要爬取的是起点小说网站的小说内容，因此我们需要先找到小说的阅读页面，然后通过分析页面结构和网络请求，获取小说的章节内容。我们可以通过搜索小说名称，进入小说的阅读页面，然后分析页面结构，获取小说的章节链接。keyword = '斗破苍穹'# 获取小说章节链接。
Python爬虫，爬取某网站小说
最新发布
HSJ0170的博客
08-23 2172
Python爬虫，爬取某网站小说
第4期-通过起点中文网爬取小说
我是瞎老弟
09-07 4307
起点中文网的历史比较悠久，一般来说，新的小说和古老的小说的格式恐怕是不太一样的，甚至vip章节和普通章节也是不一样的，因此，我们就尽量挑选最新的小说研究一下。 首先是排行榜的地址 https://www.qidian.com/rank/hotsales/ 直接通过requests发起请求，就可以获得所有的数据，没有任何的反爬措施，可以说，起点是到目前为止见到过的最友好的网站，轻松就可以拿到排行榜数据。 然后我们选择当前最热门的小说《大奉打工人》 https://book.qidian.com/
python 爬取qidian某一页全部小说
05-25 406
本文纯粹用于技术练习，请勿用作非法途径 1 import re 2 import urllib.request 3 from bs4 import BeautifulSoup 4 import time 5 6 url=input("第一页网址：") 7 8 def gethtml(url): 9 ...
学习日志，更新起点爬虫，下载已经付费订阅vip的章节
边儒
03-29 2494
欢迎有大佬指点优化。 import requests from pyquery import PyQuery as pq import json import sys def load(name): # 获取起点的搜索页面 url_select = 'https://www.qidian.com/search?kw=' + name response_select =...
Python 爬取起点的小说（非vip）
zsk_john的技术分享专用博客
04-08 3277
Python 爬取起点的小说（非vip） 起点小说网是一个小说种类比较全面的网站，当然，作为收费类网站，VIP类的小说也很多，章节是VIP的话，有一个动态加载，也就是ajax，需要抓包分析网址，由于我没有VIP账号，所以只能爬取非VIP章节，这个爬虫就以爬取一部小说 冒牌大英雄为例，首先，我们可以打开冒牌大英雄所在的网址，也就是 以https://book.q...
python爬取起点vip小说章节_python 爬取起点小说vip章节（失败）
weixin_39786141的博客
12-06 3699
今天心血来潮，想爬取起点vip小说章节，花费了足足0.27大洋后，悟出来一个人生道理，这个应该是爬不下来。但是这0.27大洋也教会了我两个知识点。1.服务器只会响应客户端的请求，不会主动给客户端发送信息例如我爬取的这一章vip章节image.png客户端就会一直向服务器发送checkStatus?_csrfToken=w7RePr18qXzxByPdIn0h7iQtII0AC4z8oPMIXioz...
java爬虫抓取起点小说,手把手带你爬虫 | 爬取起点小说网
weixin_39534149的博客
03-22 2409
原标题：手把手带你爬虫 | 爬取起点小说网很多同学都喜欢看小说，尤其是程序员群体，对武侠小说，科幻小说都很着迷，最近的修仙的小说也很多，比如凡人修仙传，武动乾坤，斗破苍穹等等，今天分享一个用Python来爬取小说的小脚本！目标爬取一本仙侠类的小说下载并保存为txt文件到本地。本例为“大周仙吏”。 项目准备软件：Pycharm第三方库：requests,fake_useragent,lxml网站地址...
起点小说网爬虫
11-25
利用python去爬取起点小说网信息，并保存在world文件中。
起点小说杰奇后台采集规则
06-03
起点VIP小说杰奇后台采集规则，很好用；顶一下
爬虫爬起点小说
weixin_42662525的博客
03-03 1454
起点小说：（空山老师授课所记得笔记）（VIP暂不能爬取） 小说名 + 章名 + 文章内容 文件夹 文章内容 《--》 1、请求网站拿到数据，抽取小说名创建文件夹，抽取小说链接 2、请求小说拿到数据，抽取章名，抽取文章链接 3、请求文章拿到抽取文章内容，创建文件保存到相应文件夹 --- 设置模式：----面向对象 class Spidef（object） request.get（获取网址）...
多线程多进程的python爬虫脚本项目（可爬起点小说VIP内容）
Du_XiaoNan的博客
06-19 2366
在当今的网络时代，信息传播趋于自由化且高速发展，无数的信息倾泻而下，可以从互联网获取的信息类型有很多，例如新闻、博客、论坛，乃至小说。对于读者来说，如果能有一种程序它可以自动地从网络上抓取我们需要的小说，那么阅读将会变得更加快捷和便利。为此，我计划设计并实现一个网络爬虫程序，以自动爬取起点中文网的特定小说并下载到本地。
python爬虫---起点中文网免费小说爬取下载-实战项目
tmyzxy1314的博客
01-13 2561
python爬虫---起点中文网免费小说爬取下载-实战项目
爬虫实战01--爬取起点中文网小说
weixin_42075154的博客
03-29 3152
废话不多说，直接上代码？？？ """ 实战名：起点中文网 爬取 url: https://www.qidian.com/ 时间：2020/3/29 版本：0.0.1 作者：小川Class """ import urllib.request as ur import user_agent import json import re # 模拟登录 def getRequest(url): ...
笔趣阁的小说爬取
mjp_erhuo的博客
04-27 784
import urllib.request from lxml import etree def chu_url(url,shuhao): url = url + shuhao headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) C...
码农武：用Python爬取起点小说网小说步骤
码农武的博客
01-26 1503
200代表状态正常，请求成功。python 爬虫 爬取起点小说
编写爬取起点小说网的多线程爬虫
03-28
以下是使用Python编写的爬取起点小说网的多线程爬虫代码： ```python import requests from lxml import etree from queue import Queue import threading # 定义爬虫类 class Spider(): def __init__(self, url, headers): self.url = url self.headers = headers self.session = requests.Session() self.session.headers.update(headers) # 获取小说列表 def get_novel_list(self): response = self.session.get(self.url) html = etree.HTML(response.text) novel_list = html.xpath('//div[@class="book-mid-info"]/h4/a/@href') return novel_list # 获取小说信息 def get_novel_info(self, novel_url): response = self.session.get(novel_url) html = etree.HTML(response.text) novel_info = {} novel_info['title'] = html.xpath('//div[@class="book-info "]/div[@class="book-info "]/h1/em/text()')[0] novel_info['author'] = html.xpath('//div[@class="book-info "]/div[@class="book-info "]/h1/span/a/text()')[0] novel_info['intro'] = html.xpath('//div[@class="book-intro"]/p/text()')[0] novel_info['word_count'] = html.xpath('//div[@class="book-info "]/div[@class="book-info "]/p/span[1]/text()')[0] return novel_info # 定义爬取线程类 class SpiderThread(threading.Thread): def __init__(self, spider, novel_queue): threading.Thread.__init__(self) self.spider = spider self.novel_queue = novel_queue def run(self): while True: try: novel_url = self.novel_queue.get(False) novel_info = self.spider.get_novel_info(novel_url) print(novel_info) except: break # 定义主函数 def main(): url = 'https://www.qidian.com/all' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} spider = Spider(url, headers) novel_list = spider.get_novel_list() # 创建小说队列 novel_queue = Queue() # 将小说列表加入队列 for novel_url in novel_list: novel_queue.put(novel_url) # 创建爬取线程 threads = [] for i in range(5): spider_thread = SpiderThread(spider, novel_queue) spider_thread.start() threads.append(spider_thread) # 等待所有线程结束 for t in threads: t.join() if __name__ == '__main__': main() ``` 该代码使用了Python的requests库和lxml库来进行网页爬取和解析，使用了多线程来提高爬取效率。首先定义了一个Spider类来实现爬取小说列表和小说信息的功能，然后定义了一个SpiderThread类来作为爬取线程，最后在主函数中创建小说队列和爬取线程，并等待所有线程结束。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值