爬虫
srmxqjvg
这个作者很懒,什么都没留下…
展开
-
requests爬取知乎问题全部1911个回答
我在上一篇博客的代码基础上做了些优化和修改 上次的问题主要是网页上面offset的值我没有理解,导致爬取下来的答案都是那重复的几个 这次弄明白了,比如说我这个问题下面有1911个回答,如果offset=0的话,从第一个回答开始,网站会给你返回接下来的limit数量的回答,如果offset大于1911,那么不会有回答,我设置的limit为20,那么我只需要使offset的值20递增就可以了 至于这...原创 2020-03-20 22:51:37 · 838 阅读 · 1 评论 -
Python requests30行代码爬取知乎一个问题的所有回答
Python requests30行代码爬取知乎一个问题的所有回答 之前学习了Python的requests爬虫一直想找机会自己练习下,正好作为一个大学生平时知乎看的也不少,那就爬取知乎吧,先上源码和效果图(我找的是随便一个热门问题,你讨厌的LOL主播是什么,总共1911个回答) 可以看到记事本里面的东西特别多啊,差不多有超级多的答案 好了,说思路了 本来以为知乎需要模拟登录才能爬取,后来发现...原创 2020-03-18 15:40:22 · 466 阅读 · 0 评论