学会用Python爬取小说网站，想看什么就爬什么，广告也不用看了

本文链接：https://blog.csdn.net/m0_59236602/article/details/135449812

今天以爬取笔趣阁小说网站为例，练习 Python 爬虫技术。

通过这个爬虫，可以完成在批量爬取一本小说的所有章节，并将所有章节内容按顺序保存到一个 txt 文档内，下面我们就开始吧。

首先，百度搜索“笔趣阁”，发现有很多网站都叫笔趣阁。

我们可以随便挑选一个网站尝试，本文我以‘https://www.biquge11.cc/’这个网站为例。（本文首发在“程序员coding”公众号）

以爬取《斗破苍穹》这本热门小说为例，《斗破苍穹》是网络作家天蚕土豆所著的系列长篇玄幻小说，首次在 2009 年 4 月 14 日于起点中文网连载，于 2011 年 7 月 20 日完结。这本小说全文有 1600 多章节，大约 530 万字，如果这个都能顺利爬下来，换个别的小说爬也不在话下。

在网站内搜索《斗破苍穹》，我们来到了小说主页，网址是https://www.biquge11.cc/read/12972/

通过分析网页源代码，可以发现每个章节的网址都是https://www.biquge11.cc拼接上/read/12972/XXXX.html这种固定格式，也就是下面图片中红框内容，我们可以用正则表达式轻松拿下。

分析一下思路，我们可以：

第 1 步：用 requests 库请求https://www.biquge11.cc/read/12972/这个网址，将返回的网页信息转为text，再用re库的正则表达式取出每一章节的地址，放在一个info_lists列表里。

第 2 步：用 requests 库循环请求每个章节的地址，也就是 info_lists 列表的链接，获取每个章节的网页内容，并且用 re 库正则表达式取出小说的正文内容。

第 3 步：将第 2 步获取到的每章节的正文，进行换行处理，拼接写入到一个 txt 文件里。

这样，我们就能完整的爬取到一本小说的所有章节，并且保存到一个 txt 文档内。完整代码如下：（本文首发在“程序员coding”公众号）

import requests
import re
#（本文首发在“程序员coding”公众号）


headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"}

if __name__ == '__main__':
    #main_url是小说首页地址，切换成你想要爬的小说网页
    main_url = 'https://www.biquge11.cc/read/12972/'
    #发送请求
    mainText = requests.get(main_url, headers = headers).text
    info_lists = re.findall('<dd><a href ="(.*?)">(.*?)</a></dd>',mainText)
    for info in info_lists:
        url = 'https://www.biquge11.cc' +  info[0]

        #获取数据
        response = requests.get(url)
        html_data = response.text

        #解析数据
        content = re.findall('<div id="chaptercontent" class="Readarea ReadAjax_content">(.*?)<br /><br />  请收藏本站：https://www.biquge11.cc。笔趣阁手机版：https://m.biquge11.cc <br /><br />',html_data)[0]
        #替换换行符
        text ='\n\n' + info[1] + '\n\n'
        text+= content.replace("<br /><br />", '\n')
        print("正在获取" + info[1] + url)
        #保存到文件
        f = open('斗破苍穹.txt',mode='a',encoding='utf-8')
        f.write(text)

爬取过程 pycharm 控制台如下：（本文首发在“程序员coding”公众号）