python爬取起点vip小说章节_python 爬取起点小说vip章节（失败）

今天心血来潮，想爬取起点vip小说章节，花费了足足0.27大洋后，悟出来一个人生道理，这个应该是爬不下来。但是这0.27大洋也教会了我两个知识点。

1.服务器只会响应客户端的请求，不会主动给客户端发送信息

例如我爬取的这一章vip章节

image.png

客户端就会一直向服务器发送checkStatus?_csrfToken=w7RePr18qXzxByPdIn0h7iQtII0AC4z8oPMIXioz的请求，如果我没有付钱，服务器就会返回

image.png

如果我付钱了

就会返回

{"code":0,"data":{"readUrl":"//vipreader.qidian.com/chapter/3242304/67958436"},"msg":"suc"}

接收到这个返回后客户端会在发送一个请求章节内容的request(是不是我冒充服务器给浏览器发一个{"code":0,"data":{"readUrl":"//vipreader.qidian.com/chapter/3242304/67958436"},"msg":"suc"}的response，浏览器就会发一个请求全部内容的request，是不是就可以获得全部章节内容，就可以爬取vip章节了，前提是服务器不会在验证我是否已经付钱)，这时候如果验证我猜服务器会去数据库查查我这个用户有没有付钱，如果有的话就会返回全部章节信