requests爬取知乎问题全部1911个回答

最新推荐文章于 2024-09-03 15:24:40 发布
最新推荐文章于 2024-09-03 15:24:40 发布
阅读量859 收藏 1
点赞数 2
分类专栏： 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/srmxqjvg/article/details/105000683
版权
博客作者解决了之前爬取知乎回答时因不理解offset值导致的重复问题。通过调整offset增量和limit值，成功获取到目标问题的1911个回答。当offset达到1900时，返回答案数量减少，标志着爬取结束。
摘要由CSDN通过智能技术生成

我在上一篇博客的代码基础上做了些优化和修改
上次的问题主要是网页上面offset的值我没有理解，导致爬取下来的答案都是那重复的几个
这次弄明白了，比如说我这个问题下面有1911个回答，如果offset=0的话，从第一个回答开始，网站会给你返回接下来的limit数量的回答，如果offset大于1911，那么不会有回答，我设置的limit为20，那么我只需要使offset的值20递增就可以了
在这里插入图片描述
至于这里的判断条件就是如果返回来的列表长度小于20，也就是说当offset递增到1900的时候，只会返回11个答案，我特意测试了一下
在这里插入图片描述
可以看到我这里的值是1908，只返回了3个答案
就可以了实际运行起来，得出1911个答案，完美
在这里插入图片描述
打开记事本查看，拉到最后，答案是对上的
在这里插入图片描述
这次数据太多了就没有保存至数据库里面

最低0.47元/天 解锁文章
srmxqjvg
关注
专栏目录
Python requests30行代码爬取知乎一个问题的所有回答
12-22
在这个示例中，我们将探讨如何使用Python的requests库来爬取知乎网站上一个问题的所有回答。首先，我们来详细解读标题和描述中提到的关键知识点。 1. **Python requests库**： requests是Python中的一个HTTP客户端...
爬虫实战 | 手把手用Python教你采集&可视化知乎问题的回答（内附代码）
python03011的博客
06-20 3734
爬虫实战 | 手把手用Python教你采集&可视化知乎问题的回答（内附代码）
python 爬取知乎发布的想法和文篇和回答 selenium
邹九的个人博客
07-03 1273
考虑到将写的内容爬取下来，保存起来的避免误删，算是个备份的，而且方便查找，阅读起来也更方便，使用起来也好很多。
爬取知乎回答
最新发布
m0_73676887的博客
09-03 1150
登录网站 参考这篇文章 在 Network 中随意点击一个 Fetch 项（注意前面的小图标），在右边的 Headers 中找到 Cookie，这段代码就是知乎 Cookie。 import requests # 引入ssl，取消全局ssl认证： # 设置好url url = 'https://www.zhihu.com/' # 设置好headers headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X
【2023知乎爬虫】批量获取问题的全部回答
玛卡`三少 的博客
09-09 1696
爬取任意问题下的所有回答，如下图：1.根据问题，批量获取问题下的所有回答、与对应问题的关系到answer.csv文件；2.保存当前问题基本信息到quesiton_info.csv文件；
爬取豆瓣电影 Top250、爬取知乎问题和回答
06-22
### 知识点二：爬取知乎问题和回答 #### 2.1 技术栈介绍 - **Requests库**：用于发起HTTP请求。 - **BeautifulSoup库**：用于解析HTML文档。 - **正则表达式（re库）**：辅助提取特定格式的信息。 #### 2.2 实现...
Python爬取知乎回答中的文本及图片
09-26
本文将深入探讨如何使用Python来爬取知乎回答中的文本及图片。 首先，我们要明白爬取知乎数据的基本流程。第一步是发送HTTP请求到知乎服务器，获取网页内容。Python的requests库是实现这一目标的常用工具，它允许...
zhihu:zhihu是一个知乎话题内容的爬虫，可以爬取知乎所有的话题相关的问答内容
05-02
zhihu是一个知乎话题内容的爬虫，可以爬取知乎所有的话题相关的问答内容，爬虫框架使用scrapy，数据存储使用mongo。由于知乎话题的问答内容信息巨大（亿级数据量），这里只是爬取了话题广场的“阅读”话题下的所有子...
PYTHON爬虫（2）：利用requests库和re库批量爬取知乎关于电影中的答案
12-23
上篇文章通过一个实例简要说明了如何用requests库和re库批量爬取图片，本篇文章将用另外一个实例说明如何爬取知乎上的回答并进行整理。 （一）：引入相关库 import re import requests （二）：改写headers伪装...
python爬取知乎答案.py
04-29
python爬取知乎问题下的所有回答，只要输入问题的问题号就能对应爬取内容并进行提取保存成csv文件
利用网络爬虫爬取知乎回答者的信息及回答内容
qq_44635691的博客
03-01 2765
利用网络爬虫爬取知乎回答者的信息及回答内容 BB:作为入门爬虫的新手，这些天在网上找一些案例自己动手实现以下并添加自己的东西进去。 这个案例不太复杂，用到的有re、json、requests、pandas库 简单介绍下这几个库的作用： re(regular expression):它就是正则表达，用来解析html页面的信息。 常用方法： ...
Python爬虫实战一：抓取知乎问题下所有回答
TEDxPY
09-15 6121
代码是最近(2021.09)新写的~ 需求 任务需求：抓取知乎问题下所有回答，包括其作者、作者粉丝数、回答内容、时间、回答的评论数、回答赞同数以及该回答的链接。 分析 以最近比较引人关注的"大厂间要相互解除屏蔽链接问题"为例，想要拿到回答的相关数据，可以在Chrome浏览器下按F12来分析请求；但借助Charles抓包工具可以更直观地获取相关字段： 注意我标注的 Query String 参数中 limit 5 表示每次请求返回5条回答，经测试最多可以改成20；offset 表示从第几个回答开始； 而返回
python scrapy爬取知乎问题和收藏夹下所有答案的内容和图片
anjujie7320的博客
09-13 384
上文介绍了爬取知乎问题信息的整个过程,这里介绍下爬取问题下所有答案的内容和图片,大致过程相同,部分核心代码不同. 爬取一个问题的所有内容流程大致如下: 一个问题url 请求url,获取问题下的答案个数(我不需要,因为之前获取问题信息的时候保存了问题的回答个数) 通过答案的接口去获取答案(如果一次获取5个答案,总计100个答案,需要计算的出访问20次答案接口)[答案的接口地址如下图所...
爬虫：爬取知乎热榜一级评论及回答2024不包含翻页
weixin_64944512的博客
06-28 1461
【知hu回答评论，做了一些补环境和逆向，具体的哥哥姐姐们可以详细研究下，文章只是简单写了一些，能完成基本的想要的任务，想要源码的哥哥姐姐们，可以私信或者评论区小留言哈，微偿哦，看到会给对应答复，谢谢大家支持，以后还会陆续更新新的内容】
【爬虫练习】爬取知乎\百度热搜榜
哈哈
08-07 2458
利用requests模块和re正则爬取知乎\百度热搜榜，并保存数据
Python_scrapy(知乎问答爬取
m0_65592409的博客
07-02 1695
***本文章为个人记录***目录一、模拟登录知乎二、提取知乎question页面url三、提取question页面具体数据四、提取answer页面具体数据五、items.py的编写六、pipelines的编写七、Mysql数据库存储结果(第一次运行程序)先模拟登录->保存cookie (其次运行程序)->运行已保存的cookie 模拟登录时没有做验证码处理，所以延时10秒手动通过验证码进行登录。登录后再将知乎账号数据cookie保存起来，为下次爬取浏览器直接使用(下次使用时不需要再进行模拟登录
python爬取知乎问题_Python-爬取知乎某个问题下的所有回答
06-11
您可以使用 Python 中的 requests 和 BeautifulSoup 库来爬取知乎某个问题下的所有回答。具体实现步骤如下： 1. 打开知乎问题页面，获取问题的 URL。 2. 使用 requests 库发送 GET 请求，获取页面的 HTML 内容。 3....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值