基于python的requests库实现简单的小说爬取

最新推荐文章于 2023-10-08 16:06:17 发布
最新推荐文章于 2023-10-08 16:06:17 发布
阅读量1.3k 收藏 3
点赞数
文章标签： python 爬虫 requests 小说爬取
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ice123muxin/article/details/107882366
版权
本文分享了从盗版小说网站抓取数据的爬虫实践，详细介绍了爬取思路、编码处理、访问限制应对及正则表达式应用技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在学习爬虫，掌握了点匹毛，记录一下自己的学习进程.可运行代码在最后面
一.爬虫思路
  尝试去一些盗版小说网站，类似笔趣阁等网站爬取小说，整理格式，清除网页自带的一些广告语，提高阅读质量。
  1.通过目录页面来获取所有章节的链接地址以及章节名称，分别存入两个数组当中
  2.利用循环来依次访问链接地址，将章节名称以及小说内容写入打开的文本当中
二.过程的实现细节
  1.注意网站的编码方式，以及待写入txt文件的编码方式的一致性
  2.网站nginx的访问受限处理，很多网站都放在nginx上，设置了访问限制，短时间内大量访问会导致访问受阻，导致打开正则表达式匹配结果为None，后续写入失败。借助try: except :else来处理对应的AttibutionError,并让代码停止等待一段时间再次运行。
  3.对于正则表达式的匹配选择，可以在match与search两个函数中任选其一，但正则表达式的应该保持简洁优先的原则。

实现代码：

import re,sys,time	#导入使用的一些库
import requests
#https://www.runoob.com/python3/python3-reg-expressions.html	:python正则表达式相关内容链接，不清楚的可以去了解一下
def get_node_list():	#通过get_node_list函数获取小说的章节名称及链接
	url = 'http://www.biquge.info/74_74132/'	#目录地址
	url_temp = 'http://www.biquge.info/74_74132/'	#目录页面的章节地址大多只有后续部分，手动记录前面部分，用于拼接成完整地址
	resp = requests.get(url)	
	resp.encoding = 'utf-8'
	temp = re.search('<div id&#
最低0.47元/天 解锁文章
ice123muxin
关注
利用requests模块爬取小说
ZZYEOH的博客
07-04 1882
参考某视频教程爬取小说，后面自己用函数另外进行实现，虽然都差不多哈哈哈
requests爬取小说
趴趴的博客
08-11 882
爬虫的小步骤： 1.url解析 2.发送请求 3.接收返回 4.进行解析 5.存储 小试牛刀 需求： 将国风中文网制定页的小说的题目、作者、最近更新章节和时间抓取下来保存到本地 开始了 小伙伴们，今天我们用的利剑是requests、xpath 第一步：导入模块 import requests from lxml import etree import json 第二步
使用python的request库爬取某书网小说
热门推荐
万物皆可学
07-05 3万+
1.导入库 import urllib.request import re 2.编写函数 #写一个叫xxx的函数 def down(): 3.获取小说的源码并编码以gbk方式显示 url='http://www.quanshuwang.com/book/9/9055' html=urllib.request.urlopen(url).read().decode('gbk') 如果不转成gbk显示是这样的 那又为什么一定是gbk呢 ?从它源码里面可以看见它的编码方式是什么 4.获取所有章节的链接 r
python3 用requests、BeautifulSoup库爬取小说
T-B的博客
09-01 1709
以爬取某小说网为例，爬取小说《女总裁的全能兵王》 要引用库requests、BeautifulSoup import requests from bs4 import BeautifulSoup 进入目录https://www.17k.com/list/1741975.html 寻找html上对应章节的url 代码 import requests from bs4 imp...
使用requests爬取小说
weixin_34038293的博客
02-28 344
实现： import requests import re import time def get_chapter(aim_url): ''' 获取小说章节名称和对应的url地址 :param aim_url:小说目录页url :return:章节名和url的字典 ''' ret = requests.get(ai...
基于Python的notice-get小说爬取设计源码
10-02
本项目“基于Python的notice-get小说爬取设计源码”，详细地展示了一个用于爬取特定小说网站数据的Python应用的设计和实现过程。 该项目共包含了1842个文件，主要由pyc文件、py源文件、图片文件以及其他类型文件...
基于python+Django的小说爬取和展示系统.zip
10-10
【Python+Django小说爬取与展示系统】是基于Python编程语言和Django框架构建的一个项目，主要用于自动化抓取网络上的小说数据，并将其在前端进行展示。该项目适用于计算机科学与技术专业的毕业设计，旨在帮助学生...
用python实现的爬取小说网站资源的爬虫毕业设计基于lxml和requests
01-11
这是一个基于Python的网络爬虫毕业设计项目，主要利用lxml库和requests库来抓取小说网站的资源。本文将深入探讨这个项目的实现细节、技术选型以及如何进行多线程爬取、数据存储和错误处理。 首先，让我们来了解一下...
Python实现的番茄网小说下载器源代码，利用requests库采集和parsel库进行解析，然后用用tkinter做了UI
05-02
本项目"Python实现的番茄网小说下载器源代码"就是一个很好的实例，它利用了requests库进行网络请求，Parsel库处理HTML解析，以及Tkinter库构建图形用户界面（GUI）。接下来，我们将深入探讨这三个关键知识点。 首先...
python 运用requests库 以及 正则表达式 爬取小说实例以及心得
bo_Wen_h的博客
02-14 6150
笔者标注部分： 笔者技艺不精，若文章中有错误之处，还望各位大佬海涵，笔者希望与大家共同进步 此外笔者推荐python3以上的编辑器，因为过程中会出现一些编码问题,python2系列可能会将问题复杂化，笔者采用python3.6进行演示爬取网站内容：某网站小说（至于哪个网站，自行看代码） robots协议：人工查看,无robots协议,可合法的对网站的爬取（若您对robots协议不熟悉，可询问小杜...
python的requests和bs4库爬取小说全文
weixin_42355607的博客
05-25 1676
昨天，数据猿爬取到了笔趣小说一个近2735章的爽文小说，整个过程较为顺利。 今天，数据猿整理了一下代码，分享给大家。 目录如下： 文章目录第0步，准备第1步，分析目标网页第2步，解析页面bs4解析章节页面bs4解析内容页面第3步，自动化爬取伪装浏览器响应头章节→内容设置休眠时间小结(完整代码)： 第0步，准备 本文运行环境：Python3.8，Pycharm；Win10系统 需要的库 ：requests、bs4、re 、fake-useagent 整个爬虫的思路是 找到目标小说的所有章节链接 根据所有
python爬取小说网站资源_利用python的requests和BeautifulSoup库爬取小说网站内容
weixin_39738152的博客
01-15 481
1. 什么是Requests？htmlRequests是用Python语言编写的，基于urllib3来改写的，采用Apache2 Licensed 来源协议的HTTP库。python它比urllib更加方便，能够节约咱们大量的工做，彻底知足HTTP测试需求。ide一句话---Python实现的简单易用的HTTP库。函数2. 什么是Beausoup?工具Beautiful Soup提供一些简单的、p...
Python 使用requests实现网络小说爬虫案例（一）
菜鸟郭
05-16 2235
一、简介 网络爬虫，也叫网络蜘蛛(Web Spider)。它根据网页地址(URL)爬取网页内容，而网页地址(URL)就是我们在浏览器中输入的网站链接。比如：https://www.baidu.com/，它就是一个URL，在讲解爬虫内容之前，我们需要先学习一项写爬虫的必备技能：审查网页（html）元素。 不过多介绍审查网页元素内容，只需打开网页，鼠标右键，点击审查或者按F12 二、背景 网络爬虫的第一步就是根据URL，获取网页的HTML信息。在Python3中，可以使用urllib.reque
利用pycharm(python)的requests库爬虫来下载一部网络小说
weixin_45830664的博客
03-20 2360
。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示； 全新的 KaTeX数学公式 语法...
Python爬取小说（requests和BeautifulSoup）
zxxxlh123的博客
10-08 802
快速下载免费小说，掌握爬虫技术
使用 requests+lxml 库的 Python 爬虫实例（以爬取网页连载小说《撒野》为例）
QMango的CSDN博客
11-17 4416
需求目标 介绍使用 requests 库与 lxml 库进行简单的网页数据爬取普通框架与爬虫实例，本文以爬取网页连载小说《撒野》为例~ 当然有很多小说基本都能找到现成的 .txt 或者 .mobi 文件，不过有些又是注册登录，又是关注公众号啥的，我干脆写几行代码自己爬下来，之后有需要略微改下网页链接就行，一劳永逸~哈哈哈哈 requests+lxml 爬虫框架 1、一般通过 requests 库的 get(url, headers = header) 方法获取 html 页面，可以根据状态码判断是否
python爬取小说代码bs4和_python的requests和bs4库爬取小说全文
weixin_42325867的博客
02-10 545
昨天，数据猿爬取到了笔趣小说一个近2735章的爽文小说，整个过程较为顺利。今天，数据猿整理了一下代码，分享给大家。目录如下：[TOC]第0步，准备本文运行环境：Python3.8，Pycharm；Win10系统需要的库 ：requests、bs4、re 、fake-useagent整个爬虫的思路是找到目标小说的所有章节链接根据所有的章节链接，构造小说内容的网址爬取内容并保存第1步，分析目标网页浏览...
python 用requests模块批量下载小说
weixin_42591908的博客
01-20 195
可以使用 Python 中的 requests 模块和循环语句来批量下载小说。首先，需要安装 requests 模块，然后可以使用该模块的 get 方法来获取网页内容。在循环中，可以使用 for 或 while 语句来遍历所有章节的 URL，并使用 get 方法获取每一章的内容，最后写入文件即可. 示例代码: import requests urls =['url1', 'url2', 'url...
python使用requests+xpath爬取小说并下载
Cheng.py的博客
08-26 807
这个爬虫只是选定热门小说，不支持自选搜索下载，日后会补充并改进。 选定小说网址: 笔趣阁 爬取: 需要导入的包 import requests from lxml import etree import os import re import time import datetime 获取主页面上的小说分类地址及名称 def main_html(url,headers): # 获取首页小说分类地址 nav_name_href = "//*[@id='wrapper']/d.
我要MATLAB代码师兄
最新发布
05-01
### MATLAB中的机械臂强化学习轨迹规划 以下是基于MATLAB实现的机械臂强化学习轨迹规划的一个示例代码。该代码利用深度确定性策略梯度（DDPG）算法来优化机械臂的运动轨迹。 #### DDPG算法简介 DDPG是一种适用于连续动作空间的强化学习算法，特别适合于机械臂控制这类需要精确调节关节角度的任务[^4]。它结合了Q-learning的思想和Actor-Critic架构，能够在复杂的环境中学习到高效的控制策略。 #### 示例代码：机械臂强化学习轨迹规划 以下是一个简单的MATLAB代码框架，展示了如何使用DDPG算法进行机械臂的轨迹规划： ```matlab % 初始化参数 numEpisodes = 100; % 训练回合数 maxStepsPerEpisode = 200; % 每个回合的最大步数 stateSize = 6; % 状态维度 (例如：3个关节的角度及其角速度) actionSize = 3; % 动作维度 (例如：3个关节的速度变化) % 创建环境模型 env = createRobotEnvironment(); % 自定义函数创建机械臂模拟环境 % 定义奖励函数 rewardFunction = @(s, a) calculateReward(s, a); % 奖励计算函数 % 初始化DDPG代理 agentOptions = rlDDPGAgentOptions(); criticNetwork = createCriticNetwork(stateSize, actionSize); actorNetwork = createActorNetwork(stateSize, actionSize); agent = rlDDPGAgent(actorNetwork, criticNetwork, agentOptions); % 开始训练循环 for episodeIdx = 1:numEpisodes observation = reset(env); % 重置环境并获取初始状态 totalReward = 0; for stepIdx = 1:maxStepsPerEpisode % 获取当前动作 action = getAction(agent, observation); % 执行动作并观察新状态和奖励 [nextObservation, reward, isDone] = step(env, action); % 更新总奖励 totalReward = totalReward + reward; % 将经验存储到回放缓冲区 storeExperience(observation, action, reward, nextObservation, isDone); % 使用经验回放更新网络权重 trainOneStep(agent); % 如果达到终止条件，则退出本轮循环 if isDone break; end % 更新观测值 observation = nextObservation; end disp(['Episode ', num2str(episodeIdx), ' Total Reward: ', num2str(totalReward)]); end % 测试阶段 testEnv = createTestEnvironment(); % 创建测试环境 observation = reset(testEnv); while true action = getAction(agent, observation); [nextObservation, ~, isDone] = step(testEnv, action); plotTrajectory(nextObservation); % 可视化机械臂轨迹 if isDone break; end observation = nextObservation; end ``` #### 关键组件说明 1. **`createRobotEnvironment()`**: 这是一个自定义函数，用于初始化机械臂的仿真环境。可以通过Simulink或其他工具箱构建。 2. **`calculateReward(s, a)`**: 奖励函数的设计至关重要，通常考虑以下几个因素： - 到达目标位置的距离减小程度[^4]^。 - 避免碰撞或超出关节活动范围的情况^。 - 减少不必要的能量消耗。 3. **神经网络结构**: - Critic Network: 输入为状态-动作对 `(s,a)`，输出为估计的价值 `Q(s,a)`。 - Actor Network: 输入为状态 `s`，输出为最优动作 `a*`。 #### 结果可视化 在每次迭代结束后，可以调用绘图函数显示机械臂的实时轨迹以及最终的学习曲线。这有助于评估强化学习的效果。 --- ### 注意事项 1. 在实际应用中，可能需要针对具体任务调整超参数，如学习率、折扣因子等。 2. 对于更复杂的场景，建议引入更多的传感器数据（如摄像头输入），并通过卷积神经网络处理图像特征[^2]^。 3. 若希望进一步提升性能，可尝试其他改进版的强化学习算法，如TD3或SAC[^3]^。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值