python爬虫小说代码示例-中文编程，用python编写小说网站爬虫

原标题：中文编程，用python编写小说网站爬虫

作者：乘风龙王

原文：https://zhuanlan.zhihu.com/p/51309019

为保持源码格式, 转载时使用了截图. 原文中的源码块为文本格式.

我比较喜欢看小说，在网络上看小说一般有2种选择，正版或盗版。正版要钱，盗版要么只能在线阅读，要么下载下来一堆广告。既然学了python就应该写点爬虫练练手，把网络小说爬下来。

本文章需要的python第三方库：

requests（获取网页内容）

BeautifulSoup4（解析网页内容）

本文章需要读者具备python基础知识，并且我不会对文章中所出现的标准库、第三方库的每个类/函数的作用进行解释，请大家自行查阅资料。我不会对代码中的中文命名进行解释。

寻找目标

由于那些著名的小说网站具有很强的版权意识，防盗版措施做得很好，要把小说内容爬下来不是很容易。所以我选择一个盗版小说网站作为爬虫目标。

嗯，全是盗版。

首先编写代码获取文档内容。

打开其中一本小说目录页࿰