Python爬虫——小说爬取

爬取小说并存入到txt文件中
小说网站 https://www.readnovel.com/
url特点 ：
每本小说对应一个编号，所以每本小说对应的网址为
https://www.readnovel.com/chapter/#####/#####(小说编号)/

以爬取 小说阅读网 的 杀破唐 为例

我们需要爬取的内容是其小说部分，所以以获取第一章内容为例：
1. 打开第一章的网页链接：
1.1 首先利用开发者模式 ，获取网页的 headers

现在爬取网页最基本的两个元素就可以得到了：

url="https://www.readnovel.com/chapter/22160402000540402/107513768840595159"
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'}

1.2 还是在开发者模式下，我们可以看到本页面的HTML代码

此时可以再代码中找到