学会用Python爬取小说网站，想看什么就爬什么，广告也不用看了~

进击的六角龙

于 2024-07-30 13:24:37 发布

阅读量632

点赞数 12

分类专栏： Python 文章标签： python 开发语言爬虫

本文链接：https://blog.csdn.net/m0_62283350/article/details/140792320

版权

Python 专栏收录该内容

115 篇文章 20 订阅

订阅专栏

今天以爬取笔趣阁小说网站为例，练习 Python 爬虫技术。

通过这个爬虫，可以完成批量爬取一本小说的所有章节，并将所有章节内容按顺序保存到一个 txt 文档内，下面我们就开始吧。

首先，百度搜索“笔趣阁”，发现有很多网站都叫笔趣阁。我们可以随便挑选一个网站尝试，本文我以‘https://www.biquge11.cc/’这个网站为例。

以爬取《斗破苍穹》这本热门小说为例，《斗破苍穹》是网络作家天蚕土豆所著的系列长篇玄幻小说，首次在 2009 年 4 月 14 日于起点中文网连载，于 2011 年 7 月 20 日完结。这本小说全文有 1600 多章节，大约 530 万字，如果这个都能顺利爬下来，换个别的小说爬也不在话下。

在网站内搜索《斗破苍穹》，我们来到了小说主页，网址是https://www.biquge11.cc/read/12972/

通过分析网页源代码，可以发现每个章节的网址都是https://www.biquge11.cc拼接上/read/12972/XXXX.html这种固定格式，也就是下面图片中红框内容，我们可以用正则表达式轻松拿下。

分析一下思路，我们可以：

第 1 步：用 requests 库请求https://www.biquge11.cc/read/12972/这个网址，将返回的网页信息转为text，再用re库的正则表达式取出每一章节的地址，放在一个info_lists列表里。

第 2 步：用 requests 库循环请求每个章节的地址，也就是 info_lists 列表的链接，获取每个章节的网页内容，并且用 re 库正则表达式取出小说的正文内容。

第 3 步：将第 2 步获取到的每章节的正文，进行换行处理，拼接写入到一个 txt 文件里。

这样，我们就能完整的爬取到一本小说的所有章节，并且保存到一个 txt 文档内。完整代码如下：

import requests   
import re         

headers = {       "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"}     

 if __name__ == '__main__':       
 #main_url是小说首页地址，切换成你想要爬的小说网页       
 main_url = 'https://www.biquge11.cc/read/12972/'       
 #发送请求       
 mainText = requests.get(main_url, headers = headers).text       
 info_lists = re.findall('<dd><a href ="(.*?)">(.*?)</a></dd>',mainText)      
  for info in info_lists:          
   url = 'https://www.biquge11.cc' +  info[0]              
   
   #获取数据           
   response = requests.get(url)           
   html_data = response.text              
   
   #解析数据           
   content = re.findall('<div id="chaptercontent" class="Readarea ReadAjax_content">(.*?)<br /><br />  请收藏本站：https://www.biquge11.cc。笔趣阁手机版：https://m.biquge11.cc <br /><br />',html_data)[0]        
   #替换换行符           
   text ='\n\n' + info[1] + '\n\n'           
   text+= content.replace("<br /><br />", '\n')           
   print("正在获取" + info[1] + url)           
   #保存到文件          
    f = open('斗破苍穹.txt',mode='a',encoding='utf-8')           
    f.write(text)