python超简单超基础的免费小说爬虫

最新推荐文章于 2024-06-28 10:41:11 发布
最新推荐文章于 2024-06-28 10:41:11 发布
阅读量804 收藏 12
点赞数 3
文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mo_long_dada/article/details/109232312
版权
这篇博客介绍了如何使用Python进行简单的网络小说爬取。首先，你需要Python 3及requests、os和re库。选择一个免费小说网站，通过查看源代码分析章节链接结构。然后，将章节链接存入列表，逐个访问获取内容并写入文档。最后，作者分享了实现的代码，并指出这种方法适用于小型、免费网站，对于复杂的收费网站则需要更高级的解析技术。作为一个萌新的初次尝试，作者欢迎读者提出改进建议。
摘要由CSDN通过智能技术生成

python超简单超基础的免费小说爬虫

需要准备的环境

1.python 3.0及以上皆可
2.requests库，os，re

选取网页

找一个免费的小说网站，我在这里拿http://www.zanghaihua.org/wanlishiwunian/ 来举例子

思路

1.首先来看看网页的结构
右键网页，点击“查看网页源代码”
右键网页，点击“查看网页源代码”
不难发现看到章节链接的格式都是</span><span> <a href="章节网址">章节名称</a>
在这里插入图片描述
随便点开一个章节，进入小说内容页面，然后再去看看源代码
在这里插入图片描述
还是不难发现文本的结构是<div class="bookcontent clearfix" id="BookText">内容<br/><br/><div

我们可以把爬取每个章节链接存到一个列表里面，再让python再次访问这个链接去爬取内容，最后写入文档，接下来直接上代码，注释我都写好了。

”我看你就是讲不懂才直接上代码的“
闭嘴[滑稽]

代码

#导入库
import requests
import os
import re

#定义请求协议头
headers = {
   

'accept': '*/*',
'accept-encoding': 'gzip, deflate, br'
最低0.47元/天 解锁文章
黑色Black
关注
Python爬虫之爬取小说
青柚的博客
06-12 9864
(^_−)☆本喵的放松方式是看小说，而且类型不限，属于偏好成谜的那一种。所以从爬取完天气预报开始，我就开始想着爬取小说，编写了一个还不算完善的爬取小说程序，期待你们的完善。 小说来源： 努努书坊：https://www.kanunu8.com/ 山海经：https://www.kanunu8.com/book3/7766/index.html 解析页面源代码： 在页面源...
Python超简单超基础的免费小说爬虫！爬虫入门从这开始！
爬遍所有网站
10-23 580
需要准备的环境 1.python 3.0及以上皆可 2.requests库，os，re 选取网页 找一个免费的小说网站，我在这里拿http://www.zanghaihua.org/wanlishiwunian/ 来举例子 思路 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 1.首先来看看网页的结构 右键网页，点击“查看网页源代码” 不难发现看到章节链接的格式都是</span><span&gt
python爬虫实战篇（知识讲解+爬取小说）
最新发布
2401_85901755的博客
06-28 2497
大家谨记爬虫只是用来方便大家从互联网上检索信息，获取免费资源，不得以危害或者窃取对方资源使用为目的进行违法犯罪。牢记网络安全法。 1.爬虫的准备工作 安装第三方库-requests lxml 使用pip命令直接安装requests pip install requests pip install lxml 如果出现失败，请检查网络，或者换源使用阿里云下载（直接换源比较推荐）。 2.爬虫介绍以及基本使用到的方法介绍 概念:（爬虫又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照
python 小说爬虫_小说爬虫python
weixin_39517202的博客
11-23 111
在线观看多费劲呀，不如爬下来看小说网站地址：http://www.quanshuwang.com/分析：第一种方法：首先随便打开一个小说章节详情页，比如莽荒记发现这个详情页，居然包含了所有章节的url。故第一种实现思路就是从这个页面找到所有章节的url，存为一个列表，然后批量去匹配小说内容下载小说。第二种方法：在第一个章节点开任意 一章小说，对页面进行分析发现这里有下一章的链接，故方法二就是在当前...
Python小说爬虫
xiaoxiao的博客
03-04 300
今天做的练习是在网站上爬虫某一部小说，并将其存入到文档中~~ 首先，按照上一次爬虫的步骤，获取到该小说目录页的url url=“https://www.kanunu8.com/book2/10881/” 注：若print出该页内容为乱码时，因考虑到编码方式的转换； 在这次爬虫过程中，我们需要将编码进行转换，将其转换为gbk形式，所使用的语句如下： txt=requests.get(url).con...
Python-简单小说爬虫（以《天官赐福》为例）
热门推荐
关注网络安全、云原生安全
01-10 1万+
目录 代码 视频 参考 代码 """ --coding:utf-8-- @File: tianguan.py @Author:frank yu @DateTime: 2021.01.10 20:06 @Contact: frankyu112058@gmail.com @Description: """ import random import time import requests from bs4 import BeautifulSoup tianguan = 'https://www.
0基础学Python爬虫之全网小说免费读###
weixin_46168385的博客
03-16 199
前言 本文案例适合爬虫入门学习，有些地方描述不清晰，如有疑问欢迎在下方留言。完整代码@ 私聊小编领取。 环境 Python3.6+Windows 大概思路 获取小说主页源代码 在主页源代码中找到每个章节的超链接 获取每个章节超链接的源代码 获取章节的内容 保存内容到本地 码代码 导入一些基本的模块： import requests from bs4 import BeautifulSo...
28个精品Python爬虫实战项目
nnn0245的博客
03-04 5610
Python当然是这类的赢家，它的语法容易，简单易学，Python允许你犯些小错但不会破坏代码，给新手一些信心继续学习。从新手的角度来看，想学一些更容易、更灵活的技术，而Python正是这样的技术。Python适用于网站、桌面应用开发，自动化脚本，复杂计算系统，科学计算，物联网，游戏设计，机器学习，自然语言处理等很多方面。Python是免费开源的。Python是所有编程语言里面，代码量最低，非常易于读写，遇到问题时，程序员可以把更多的注意力放在问题本身上，而不用花费太多精力在程序语言、语法上。
Python爬虫学习手册
资源小站
04-05 2935
like:128-Python 爬取落网音乐 like:127-【图文详解】python爬虫实战——5分钟做个图片自动下载器 like:97-用Python写一个简单的微博爬虫 like:87-爬虫抓取拉勾网职位需求关键词，并生成统计图 like:87-Python爬虫实战（2）：爬取京东商品列表 like:85-python爬虫入门(1):爬万本书籍 like:73-Python爬虫...
Python爬虫教程：Linux基础入门
Python免费教程
04-14 532
人生苦短，我用 Python Linux 基础 CentOS 官网： https://www.centos.org/ 。 CentOS 官方下载链接： https://www.centos.org/download/ 。 Linux 目前在企业中广泛的应用于服务器系统，无论是写好的代码，还是使用的第三方的开源的产品，绝大多数都是部署在 Linux 上面运行的。 可能很多同学一提到 Linux...
python爬虫
qq_53183608的博客
07-22 6358
爬虫通过编写程序来获取互联网上的资源 web请求过程解析 1.服务器渲染:在服务器那边直接把数据和HTML整合在一起,统一返回给浏览器 特点:在页面源代码中能看到数据 2.客户端渲染:第一次请求只要一个HTMl骨架,第二次请求拿到数据,进行数据展示. 特点:在页面源代码中看不到数据(数据在第二次请求中) 所以在看不到数据的时候不要慌,再往下找找 HTTP协议 协议:就是两个计算机之间为了能够流畅的进行沟通而设置的一个君子协议.常见的协议有TCP/IP,SOAP协议,HTTP协议,SMTP协议等等 HTTP
免费小说下载爬虫
Samle的博客
06-05 1179
freetxt.py #coding=utf-8 import requests import re print('数据来源于https://www.biqubao.com/ 如需到此网更新书籍') bookurl = input('该本小说网站(直接回车自动跳转一本)：') if bookurl == '': bookurl = 'https://www.biqubao.com/book/34203/' homeurl = 'https://www.biqubao.com/' A = req.
python爬虫--小说爬取
一名在读学生
02-16 5715
使用requests+bs4模块完成简单的爬虫实例--笔趣阁篇。 并且利用列表，将所有的小说内容放在一个txt文件中。
python 小说爬虫_用python爬虫获取小说
weixin_39587822的博客
11-23 119
import requestsimport bs4import osimport timedef folder_func(folder_name='小说收藏'):"""生成文件夹"""if os.path.exists(folder_name):os.chdir(folder_name)folder = os.getcwd()else:os.mkdir(folder_name)os.chdir(f...
python爬虫小说在线阅读
sars945的博客
03-14 1748
通过网页看小说经常会有广告弹窗，而网上的教程大多是下载小说。所以我做了个可以通过CMD看小说的程序。纯属兴趣爱好，菜的一批，大神勿喷。如有不懂，点击打开链接全能解决这里用到python爬虫最简单的两个库：requests和re我看小说选择的网站是顶点小说网：http://www.23us.so/ 可自行更改网站（1）首先，要做到在网页内搜索小说。譬如搜索 ：龙王传说 跳转后网址：http://zh...
使用python爬取小说（附python源码）
陌雨’的博客
02-23 7428
笔记
python 小说爬虫_初次尝试python爬虫，爬取小说网站的小说。
weixin_39892615的博客
11-20 151
本次是小阿鹏，第一次通过python爬虫去爬一个小说网站的小说。下面直接上菜。1.首先我需要导入相应的包，这里我采用了第三方模块的架包，requests。requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多，因为是第三方库，所以使用前需要cmd安装。cmd安装方式，打开cmd，输入以下命令：pip install requests2.添加相应的包后，我们需要一个...
python爬虫小说系统_python3小说爬虫
weixin_39621427的博客
12-05 400
作为一个很喜欢看书的人，有时候在网页上看小说，会被数不胜数的广告弄的很烦，刚好最近在研究python，就自己写了一个小说爬虫，并用pyqt做了图形界面。下面介绍一下主要思路，不过就不开源了，因为我的程序目前写的也不怎么样，可以使用，但用起来不怎么舒服，性能也有待优化。一、需求分析需求分析很重要，不过我要做的只是一个小项目，而且我既是用户也是开发者，就没仔细的做需求分析。简单来说，功能需求有：搜索小...
零基础 Python 爬虫入门之旅
在学习Python爬虫的过程中，首先需要明白的是，Python是爬虫技术的基础，因此掌握Python编程语言至关重要。Python的简洁性和丰富的库支持使得它成为爬虫开发者的首选。在开始阶段，你需要了解Python的基本语法，包括...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值