第4期-通过起点中文网爬取小说

起点中文网的历史比较悠久，一般来说，新的小说和古老的小说的格式恐怕是不太一样的，甚至vip章节和普通章节也是不一样的，因此，我们就尽量挑选最新的小说研究一下。

首先是排行榜的地址

https://www.qidian.com/rank/hotsales/

直接通过requests发起请求，就可以获得所有的数据，没有任何的反爬措施，可以说，起点是到目前为止见到过的最友好的网站，轻松就可以拿到排行榜数据。

然后我们选择当前最热门的小说《大奉打工人》

https://book.qidian.com/info/1019664125/

同样，没有任何反爬措施，轻松就可以拿到所有的小说章节

进入小说章节后，我们发现，现在遇到了第一个小的麻烦，对方网站禁止了右键

但是，我们不用管他，直接对地址发起请求，可以看到，所有的数据都直接拿到了

<p>许七安幽幽醒来，嗅到了空气中潮湿的腐臭味，令人轻微的不适，胃酸翻涌。
<p>这扑面而来的臭味是怎么回事，家里的二哈又跑床上拉屎来了....根据熏人程度，怕不是在我头顶拉的...
<p>许七安家里养了一条狗，品种哈士奇，俗称二哈。
<p>北漂了十年，孤孤单单的，这人啊，寂寞久了，难免会想养条狗里慰藉和消遣....不是肉体上。
<p>睁开眼，看了下周遭，许七安懵了一下。
<p>石块垒砌的墙壁，三个碗口大的方块窗，他躺在冰凉的破烂草席上，阳光透过方块窗照射在他胸口，光束中尘糜浮动。

除了这个p标签看着有点奇怪以外，所有的数据全部都是可以正常获得

当然了，起点是一个收费网站，所有的vip章节是必须要账号登录，花钱购买才能爬取的，除此之外，起点是非常友好的，所有的数据获取没有反爬，没有加密，随便就可以获得了

查看2021更多爬虫分析，点击这里