Python爬取小说电子书全文并保存到本地

已于 2023-08-11 16:51:00 修改
阅读量661 收藏 2
点赞数
分类专栏： Python 文章标签： python 开发语言 爬虫 电子书 txt下载
于 2023-08-09 08:18:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ymtianyu/article/details/132179845
版权

1 解析章节列表

1 设定章节列表所在页面url
2 检查列表所在的元素id或类名
3 取得所有列表a链接并写入列表中

带有分页的章节列表 - 有规律可循时
根据章节链接的规律来自定义列表，就不再解析列表页的请求了

from lxml import etree
import requests

# 网页访问
header = {
    'User-agent':
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36 Edg/100.0.1185.29'
}
mSession = requests.session()

aList = [] # 定义章节列表变量

def getList(url): # 根据章节列表url获取所有章节a链接
    global aList  # 声明全局使用变量
    
    try:
        mResponse = mSession.get(url, headers=header)
        if (mResponse.ok):
            # 格式化页面源码
            mHtml = etree.HTML(mResponse.content)
            # xpath 获取目标节点内容，返回结果为列表形式，通过索引进行访问
            mTables = mHtml.xpath('//*[@id="list"]')
            if (len(mTables) <= 0):
                print("找不到章节列表")
                return
            mTable = mTables[0]
            aList = mTable.xpath('.//a')  # 取得所有 a 链接
    except Exception as e:
        print("获取章节列表失败：\n" + e)

2 循环列表

解析 a 链接

result = ""
baseUrl = "https://xxx.com"
getList("https://xxx.com/5/5552/1/")
for a in aList:
    href = baseUrl + a.xpath('@href')[0]  # 取得 a 链接的 URL
    print(href) # 打印到控制台以便查看进行到第几章
    txt = a.xpath('text()')[0]  # 取得 a 链接的文本内容，一般为章节标题
    print(txt) # 打印到控制台以便查看进行到第几章
    # break # 通过首页来分析是否解析成功，解析成功后即可注释掉
    
    # Sub
    result += txt + "\n" # 将章节标题写入到结果中
    getDetail(href=href) # 根据章节链接获取章节内容
    # print(result) # 打印解析的单个章节内容分析是否成功
    # break # 如果解析成功，则注释掉使其跑循环

如果列表中是自定义好的a链接列表，则直接执行sub块内容即可

setList()
for a in aList:
    getDetail(href=a) # 根据章节链接获取章节内容

是否存在需要跳过的章节
根据需要进行添加启用

j = 1
for a in aList:
    if (j <= 15):
        j = j + 1
        continue

写内容

result = ""
i = 1

def writeContent(str):
    with open("temp.txt", 'a', encoding='utf-8') as f: # 以append的模式累加内容
        f.write(str)
        
for a in aList:
    
    # Sub
    result += txt + "\n" # 将章节标题写入到结果中
    getDetail(href=href) # 根据章节链接获取章节内容
    
    ''' 每 10 章写入一次文本 '''
    if (i == 10):
        writeContent(result)
        i = 1
        result = ""
        continue
    i = i + 1

''' 写入剩余文本 '''
if (result != ""):
    writeContent(result)

3 获取单个章节内容

1 解析文章链接

def getDetail(href): # 参数传入待解析的文章链接
    # Sub
    try:
        mResponse = mSession.get(href, headers=header)
        if(mResponse.ok):
            mHtml = etree.HTML(mResponse.content)
            mContents = mHtml.xpath('//div[@id="chaptercontent"]') # 分析内容块，获取合适的path路径
            if (len(mContents) <= 0): 
                print("找不到章节内容")
                return # 如果解析不成功，则代表找不到内容块，可能链接有误，跳出
            mContent = mContents[0]
            getContent_div(content=mContent)
            checkNextPage(html=mHtml)
	except Exception as e:
    	print(e)

2 解析文章内容

def getContent_div(content):  # 内容直接存放在 div 中
    global result # 声明result是全局变量，以便在内部修改，外部调用
    
    txts = content.xpath("./text()")
    for txt in txts:
        result += txt + "\n"

def getContent_p(content):  # 正文内容存放于 p 标签中
    global result # 声明result是全局变量，以便在内部修改，外部调用
    
    pList = content.xpath('.//p')
    for p in pList:
        result += p.xpath('text()')[0]
        
def getContent_divAll(content):  # 获取整个 div 内容
    global result # 声明result是全局变量，以便在内部修改，外部调用
    
    txt = etree.tounicode(mTable)
    # # 替换掉 html 标签 import re
    # txt = re.sub('(<p.*?>)|(</p>)|(&#13;)|(<strong.*?>)|(</strong>)', "", txt)
    result += txt + "\n"

检查是否包含下一页

def checkNextPage(html):
    ''' 检查是否包含下一页 '''
    mNextPages = html.xpath('//div[@class="section-opt m-bottom-opt"]')
    if (len(mNextPages) <= 0):
        return  # 不包含下一页标签，直接跳出
    mNextPage = mNextPages[0]
    aAll = mNextPage.xpath('.//a')
    for a in aAll:
        txt = a.xpath('text()')[0]
        if (txt == "下一页"):
            nextPage = a.xpath('@href')[0]
            getDetail(href=nextPage)

完整模板代码

from lxml import etree
import requests

# 网页访问
header = {
    'User-agent':
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36 Edg/100.0.1185.29'
}
mSession = requests.session()
aList = []  # 定义章节列表变量
result = ""  # 定义解析到的章节内容


def getList(url):  # 根据章节列表url获取所有章节a链接
    global aList  # 声明全局使用变量

    try:
        mResponse = mSession.get(url, headers=header)
        if (mResponse.ok):
            # 格式化页面源码
            mHtml = etree.HTML(mResponse.content)
            # xpath 获取目标节点内容，返回结果为列表形式，通过索引进行访问
            mTables = mHtml.xpath('//*[@id="list"]')
            if (len(mTables) <= 0):
                print("找不到章节列表")
                return
            mTable = mTables[0]
            aList = mTable.xpath('.//a')  # 取得所有 a 链接
    except Exception as e:
        print("获取章节列表失败：\n" + e)


def writeContent(str):
    with open("temp.txt", 'a', encoding='utf-8') as f:  # 以append的模式累加内容
        f.write(str)


def getContent_div(content):  # 内容直接存放在 div 中
    global result  # 声明result是全局变量，以便在内部修改，外部调用

    txts = content.xpath("./text()")
    for txt in txts:
        result += txt + "\n"


def getContent_p(content):  # 正文内容存放于 p 标签中
    global result  # 声明result是全局变量，以便在内部修改，外部调用

    pList = content.xpath('.//p')
    for p in pList:
        result += p.xpath('text()')[0]


def getContent_divAll(content):  # 获取整个 div 内容
    global result  # 声明result是全局变量，以便在内部修改，外部调用

    txt = etree.tounicode(content)
    result += txt + "\n"


def getDetail(href):  # 参数传入待解析的文章链接
    # Sub
    try:
        mResponse = mSession.get(href, headers=header)
        if (mResponse.ok):
            mHtml = etree.HTML(mResponse.content)
            mContents = mHtml.xpath(
                '//div[@id="chaptercontent"]')  # 分析内容块，获取合适的path路径
            if (len(mContents) <= 0):
                print("找不到章节内容")
                return  # 如果解析不成功，则代表找不到内容块，可能链接有误，跳出
            mContent = mContents[0]
            getContent_div(content=mContent)
            checkNextPage(html=mHtml)
    except Exception as e:
        print(e)


def checkNextPage(html):
    ''' 检查是否包含下一页 '''
    mNextPages = html.xpath('//div[@class="section-opt m-bottom-opt"]')
    if (len(mNextPages) <= 0):
        return  # 不包含下一页标签，直接跳出
    mNextPage = mNextPages[0]
    aAll = mNextPage.xpath('.//a')
    for a in aAll:
        txt = a.xpath('text()')[0]
        if (txt == "下一页"):
            nextPage = a.xpath('@href')[0]
            getDetail(href=nextPage)


#################################################################################
# 自定义章节列表时使用
# setList()
# for a in aList:
#     getDetail(a)  # 根据章节链接获取章节内容
baseUrl = "https://xxx.com"
getList("https://xxx.com/5/5552/1/")
i = 1  # 分批写入文件
j = 1  # 跳过章节的起始页
for a in aList:
    # # 跳过前面章节
    # if (j <= 15):
    #     j = j + 1
    #     continue

    # 解析 a 链接
    href = baseUrl + a.xpath('@href')[0]  # 取得 a 链接的 URL
    print(href)  # 打印到控制台以便查看进行到第几章
    txt = a.xpath('text()')[0]  # 取得 a 链接的文本内容，一般为章节标题
    print(txt)  # 打印到控制台以便查看进行到第几章
    # break # 通过首页来分析是否解析成功，解析成功后即可注释掉

    # Sub
    result += txt + "\n"  # 将章节标题写入到结果中
    getDetail(href)  # 根据章节链接获取章节内容
    # print(result) # 打印解析的单个章节内容分析是否成功
    # break # 如果解析成功，则注释掉使其跑循环

    ''' 每 10 章写入一次文本 '''
    if (i == 10):
        writeContent(result)
        i = 1
        result = ""
        continue
    i = i + 1

''' 写入剩余文本 '''
if (result != ""):
    writeContent(result)
曲幽
关注
专栏目录
Python爬虫-批量爬取免费小说并下载保存到本地
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
01-31 1967
本文是该专栏的第16篇，后面会持续分享python爬虫干货知识。有粉丝朋友私信，问是否可以通过python爬取免费小说并下载保存到本地呢？答案是：肯定的！而本文，笔者将针对上面的需求，以某网站的小说案例为例子，结合“完整代码”详细介绍通过python来批量爬取小说，并将小说批量保存到本地。具体的详细思路以及代码实现逻辑，跟着笔者直接往下看正文详细内容。（附带完整代码）
python入门011～python3爬虫 爬取图片，爬取新闻网站文章并保存到数据库(1)
2401_84584628的博客
05-02 348
这里数据是抓取到了，但是太乱了，并且还有很多不是我们想要的，下面就通过遍历来提炼出我们的有效信息。分析上图我们要抓取的信息再div中的a标签和img标签里，所以我们要想的就是怎么获取到这些信息。爬取到的数据目前只做展示，等我学完Python操作数据库以后会把爬取到的数据保存到数据库。这里就要用到我们导入的BeautifulSoup4库了，这里的关键代码。上面代码获取到的allList就是我们要获取的新闻列表，抓取到的如下。这就是Python3的爬虫简单入门，是不是很简单，建议大家多敲几遍。
用python分章节保存小说
m0_67911966的博客
06-27 933
用python在小说网站分章节读取保存小说
python下载保存小说,使用python提取下载小说
weixin_42376118的博客
03-25 364
import osimport refrom lxml import etreeimport requestsfrom fake_useragent import UserAgenturl = "http://www.17k.com"headers = {"User-Agent": UserAgent().chrome}def getHtml(url):try:response = request...
python爬取网站小说，保存到TXT文件
u013266197的博客
02-09 2321
python爬取网站小说，保存到TXT文件 import json import requests, random from requests.exceptions import RequestException import re import time def get_one_page(url): #请求头 headers ={ 'User-Agent':'Mozilla/5.0(M...
python爬虫实战二、多页爬取全篇小说并分章节保存本地
leechoy
06-17 7288
多页爬取全篇小说并分章节保存本地 有需要爬取一些文章来满足自己开发的实际需要，以下以爬取经典小说《西游记》为例，共计101回。 在开始之前我们需要导入我们需要的库： ①beautifulsoup4 ②requests ③lxml根 据实际需要导入自己需要的库，也可以不用以上的库，自己熟悉哪种解析库，便优先选取哪种。 本次爬取的网站为诗词名句网中的西游记小说 总代码如下： from bs4 impo...
文本小说章回目录及内容提取(Python之list、dict试炼)
m0_57158496的博客
06-05 1830
文本小说章回目录及内容提取(Python之list、dict试炼)
爬取电子书并保存在本地
10-13
使用python爬虫爬取网站上的电子书，并保存在本地以TXT格式保存，提示当前下载进度，爬取主页全部火的电子书，保存本地。
Python爬虫实战，requests模块，Python爬取音频数据并保存本地_python爬取音乐并保存
2401_84563561的博客
05-02 82
今天给大家介绍的是Python爬取音频数据并保存本地。
我想用python语言实现对txt文章中想要内容进行抓取
weixin_35756690的博客
01-04 1150
如果你想用 Python 语言实现对 txt 文章中的指定内容进行抓取，你可以使用 Python 的文件操作函数打开 txt 文件，然后使用字符串处理函数来提取文本中的指定内容。 下面是一个例子，假设你想要从 txt 文件中抓取所有以 "Hello" 开头的行： # 打开文件 with open("article.txt", "r") as file: # 遍历文件中的每一行 fo...
Python将网络小说保存到txt文件
Trb701012的博客
02-23 1928
找到想看的小说的网站地址→爬取小说所有章节的网站地址→爬取每章小说的标题和内容→把内容保存到TXT文件。
使用Python爬取所需要的文章
梦落影逝
08-03 482
使用Python爬虫爬取某阁的小说 平时喜欢看一些书，加上朋友有时候也喜欢让我给他爬取一些小说，趁最近空闲下来就简单的记录一下自己写爬虫的过程吧 首先需要导入相关的模块 import requests from lxml import etree 安装对应模块的方式 # pip快速安装 pip install requests pip install lxml 向网站发送请求并获取网站数据 如图所示红框的地方为这本小说的网址：网页地址 于是就可以获取到网页数据： def book():
【爬虫】使用requests和etree爬取特定信息
漆黑梦工厂
07-14 841
七、处理xpath获得具体信息。八、写入表格的具体操作。
Python爬取网站小说实战
weixin_49939520的博客
01-22 3037
本篇博客介绍一下通过Python爬取小说的一个案例：首先我们选定一个网站的小说，这里我们选择的目标小说域名：http://m.ppxs.net/我们的目标书籍是：《规则怪谈，欢迎来到甜蜜的家》
python爬虫实战篇（知识讲解+爬取小说）
最新发布
2401_85901755的博客
06-28 3090
大家谨记爬虫只是用来方便大家从互联网上检索信息，获取免费资源，不得以危害或者窃取对方资源使用为目的进行违法犯罪。牢记网络安全法。 1.爬虫的准备工作 安装第三方库-requests lxml 使用pip命令直接安装requests pip install requests pip install lxml 如果出现失败，请检查网络，或者换源使用阿里云下载（直接换源比较推荐）。 2.爬虫介绍以及基本使用到的方法介绍 概念:（爬虫又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照
Python保存TXT文件
ScapeD的博客
08-26 9590
python保存txt文件时经常会出现各种问题，下面是常用的txt文件保存方法 1.保存为 ‘ANSI' 格式 1.去掉不能转化的字符： self.file.write(content.replace(u'\xa0', u'')) 2.忽略掉不能解码的数据： self.file.write(content.encode("gbk", 'ignore').decode("gbk", "...
Python爬虫爬取小说并保存成txt文件
qq_44505308的博客
01-20 4239
本次学习级别为新手村学习，简单易懂，特别适合刚学习python的练手项目。请注意，本人提供的信息仅用于个人学习目的，并且不涉及公开或分享任何目标网站的相关链接或信息。爬取网站内容应遵守适用的法律法规、知识产权和隐私保护规定。**在未获得授权的情况下，不得非法获取、使用或传播他人的数据、信息或资源。**爬取操作应遵循合理的频率和并发量，以避免对目标网站造成过度负荷或干扰正常运营。**本人不对任何因违反上述规定而导致的法律责任或纠纷承担责任。**请确保你的行为符合相关法律法规，并尊重他人的权益和隐私。
python--爬虫 爬取html和txt文件
weixin_45289656的博客
11-12 5106
python--爬虫 爬取html和txt文件
如何用 Python 爬取网页制作电子书
good7ob的博客
04-21 994
本文介绍了如何使用 Python 爬取网页并将其制作成电子书。在实际应用中，我们需要根据具体的需求和情况来进行相应的设置和调整，并注意版权问题和法律法规。希望本文对大家有所帮助。同时，本文还简单介绍了 Python 爬虫和 ebooklib 库的使用，希望能够为初学者提供一些帮助。在使用 Python 爬虫时，我们需要注意网站的爬取规则和政策，并严格遵守相关法律法规。在制作电子书时，我们需要注意版权问题，并尽量遵循原作品的格式和排版。
Python爬取51cto数据并存储到MySQL实战
"Python爬取51cto数据并存储到MySQL数据库" 在本文中，我们将探讨如何使用Python来抓取51cto网站上的数据，并将这些数据存储到MySQL数据库中。51cto是一个专注于信息技术和开发者的在线平台，包含了大量的博客、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值