前言:
随着网络的时代的发展,人们很少去安静的去看一本书。而是选择看网络小说,可是网络小说有些要钱才能看。
无限小说网:
https://www.555x.org/
里边的内容是完全免费的,提供了各种种类的小说。满足用户的需要。可一页一页看小说太麻烦,直接下载多方便。
今天教大家爬取无限小说网,把小说的下载链接通过网络请求直接下载。
一、项目目的
获取对应小说的下载链接,点击下载链接网址,下载对应的txt文件。
二、项目准备
软件:PyCharm
需要的库:requests、lxml、fake_useragent
网站如下:
https://www.555x.org/html/wuxiaxianxia/list_29_{}.html
点击下一页时,list_29_{}每增加一页自增加1,用{}代替变换的变量,再用for循环遍历这网址,实现多个网址请求。
三、项目实现
1、定义一个class类继承object,定义init方法继承self,主函数main继承self。导入需要的库和网址,代码如下所示。
import requests
from lxml import etree
from fake_useragent impor