第4期-通过起点中文网爬取小说

起点中文网的历史比较悠久,一般来说,新的小说和古老的小说的格式恐怕是不太一样的,甚至vip章节和普通章节也是不一样的,因此,我们就尽量挑选最新的小说研究一下。

首先是排行榜的地址

https://www.qidian.com/rank/hotsales/

直接通过requests发起请求,就可以获得所有的数据,没有任何的反爬措施,可以说,起点是到目前为止见到过的最友好的网站,轻松就可以拿到排行榜数据。

然后我们选择当前最热门的小说《大奉打工人》

https://book.qidian.com/info/1019664125/

同样,没有任何反爬措施,轻松就可以拿到所有的小说章节

进入小说章节后,我们发现,现在遇到了第一个小的麻烦,对方网站禁止了右键

但是,我们不用管他,直接对地址发起请求,可以看到,所有的数据都直接拿到了

<p>许七安幽幽醒来,嗅到了空气中潮湿的腐臭味,令人轻微的不适,胃酸翻涌。
<p>这扑面而来的臭味是怎么回事,家里的二哈又跑床上拉屎来了....根据熏人程度,怕不是在我头顶拉的...
<p>许七安家里养了一条狗,品种哈士奇,俗称二哈。
<p>北漂了十年,孤孤单单的,这人啊,寂寞久了,难免会想养条狗里慰藉和消遣....不是肉体上。
<p>睁开眼,看了下周遭,许七安懵了一下。
<p>石块垒砌的墙壁,三个碗口大的方块窗,他躺在冰凉的破烂草席上,阳光透过方块窗照射在他胸口,光束中尘糜浮动。

除了这个p标签看着有点奇怪以外,所有的数据全部都是可以正常获得

当然了,起点是一个收费网站,所有的vip章节是必须要账号登录,花钱购买才能爬取的,除此之外,起点是非常友好的,所有的数据获取没有反爬,没有加密,随便就可以获得了

查看2021更多爬虫分析,点击这里

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值