如何利用Python爬虫获取网络小说

前言：

随着网络的时代的发展，人们很少去安静的去看一本书。而是选择看网络小说，可是网络小说有些要钱才能看。

无限小说网：

https://www.555x.org/

里边的内容是完全免费的，提供了各种种类的小说。满足用户的需要。可一页一页看小说太麻烦，直接下载多方便。

今天教大家爬取无限小说网，把小说的下载链接通过网络请求直接下载。

一、项目目的

获取对应小说的下载链接，点击下载链接网址，下载对应的txt文件。

二、项目准备

软件：PyCharm

需要的库：requests、lxml、fake_useragent

网站如下：

https://www.555x.org/html/wuxiaxianxia/list_29_{}.html

点击下一页时，list_29_{}每增加一页自增加1，用{}代替变换的变量，再用for循环遍历这网址，实现多个网址请求。

三、项目实现

1、定义一个class类继承object，定义init方法继承self，主函数main继承self。导入需要的库和网址，代码如下