requests爬取知乎问题全部1911个回答

最新推荐文章于 2023-09-09 16:22:04 发布
VIP文章 最新推荐文章于 2023-09-09 16:22:04 发布
阅读量803 收藏 1
点赞数 2
分类专栏： 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/srmxqjvg/article/details/105000683
版权

我在上一篇博客的代码基础上做了些优化和修改
上次的问题主要是网页上面offset的值我没有理解，导致爬取下来的答案都是那重复的几个
这次弄明白了，比如说我这个问题下面有1911个回答，如果offset=0的话，从第一个回答开始，网站会给你返回接下来的limit数量的回答，如果offset大于1911，那么不会有回答，我设置的limit为20，那么我只需要使offset的值20递增就可以了
在这里插入图片描述
至于这里的判断条件就是如果返回来的列表长度小于20，也就是说当offset递增到1900的时候，只会返回11个答案，我特意测试了一下
在这里插入图片描述
可以看到我这里的值是1908，只返回了3个答案
就可以了实际运行起来，得出1911个答案，完美

最低0.47元/天 解锁文章
srmxqjvg
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python requests30行代码爬取知乎一个问题的所有回答
12-22
之前学习了Python的requests爬虫一直想找机会自己练习下，正好作为一个大学生平时知乎看的也不少，那就爬取知乎吧，先上源码和效果图（我找的是随便一个热门问题，你讨厌的LOL主播是什么，总共1911个回答） ...
python 爬取知乎发布的想法和文篇和回答 selenium
邹九的个人博客
07-03 805
考虑到将写的内容爬取下来，保存起来的避免误删，算是个备份的，而且方便查找，阅读起来也更方便，使用起来也好很多。
爬虫实战 | 手把手用Python教你采集&可视化知乎问题的回答（内附代码）
python03011的博客
06-20 2500
爬虫实战 | 手把手用Python教你采集&可视化知乎问题的回答（内附代码）
用Python requests 爬取知乎视频，简单易上手。
weixin_68251022的博客
05-31 783
requests是一个Python第三方库，用于发送HTTP/1.1请求。它可以用于发送GET、POST、PUT、DELETE等多种类型的HTTP请求，并支持HTTP基本认证、表单处理、Cookie处理、文件上传等功能。使用requests库，可以方便地访问Web API，从而获取数据并进行数据分析、处理等操作。
【2023知乎爬虫】批量获取问题的全部回答
玛卡`三少 的博客
09-09 1268
爬取任意问题下的所有回答，如下图：1.根据问题，批量获取问题下的所有回答、与对应问题的关系到answer.csv文件；2.保存当前问题基本信息到quesiton_info.csv文件；
利用网络爬虫爬取知乎回答者的信息及回答内容
qq_44635691的博客
03-01 2494
利用网络爬虫爬取知乎回答者的信息及回答内容 BB:作为入门爬虫的新手，这些天在网上找一些案例自己动手实现以下并添加自己的东西进去。 这个案例不太复杂，用到的有re、json、requests、pandas库 简单介绍下这几个库的作用： re(regular expression):它就是正则表达，用来解析html页面的信息。 常用方法： ...
python爬取知乎热榜了解时事
10-18
python爬取知乎热榜内容实现时事了解
zhihu:zhihu是一个知乎话题内容的爬虫，可以爬取知乎所有的话题相关的问答内容
05-02
zhihu是一个知乎话题内容的爬虫，可以爬取知乎所有的话题相关的问答内容，爬虫框架使用scrapy，数据存储使用mongo。由于知乎话题的问答内容信息巨大（亿级数据量），这里只是爬取了话题广场的“阅读”话题下的所有子...
PYTHON爬虫（2）：利用requests库和re库批量爬取知乎关于电影中的答案
12-23
上篇文章通过一个实例简要说明了如何用requests库和re库批量爬取图片，本篇文章将用另外一个实例说明如何爬取知乎上的回答并进行整理。 （一）：引入相关库 import re import requests （二）：改写headers伪装...
基于requests爬取比特币信息并绘制价格走势图
最新发布
01-12
本期内容：基于requests爬取比特币信息并绘制价格走势图 实验环境 - anaconda丨pycharm - python3.11.4 - requests 安装requests库的命令： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests ...
python爬取知乎答案.py
04-29
python爬取知乎问题下的所有回答，只要输入问题的问题号就能对应爬取内容并进行提取保存成csv文件
Python爬取知乎回答中的文本及图片
09-26
可保存回答中的文本,图片到本地(先输入问题ID)，并保存用户id,主页网址信息，可设置下载数量，所需依赖包在requerments.txt中
python代码实现—爬取知乎神回复
11-01
20行python代码——爬取知乎神回复 代码非常简单，直接跑在pychram中就行！
Python爬虫实战一：抓取知乎问题下所有回答
TEDxPY
09-15 4816
代码是最近(2021.09)新写的~ 需求 任务需求：抓取知乎问题下所有回答，包括其作者、作者粉丝数、回答内容、时间、回答的评论数、回答赞同数以及该回答的链接。 分析 以最近比较引人关注的"大厂间要相互解除屏蔽链接问题"为例，想要拿到回答的相关数据，可以在Chrome浏览器下按F12来分析请求；但借助Charles抓包工具可以更直观地获取相关字段： 注意我标注的 Query String 参数中 limit 5 表示每次请求返回5条回答，经测试最多可以改成20；offset 表示从第几个回答开始； 而返回
头歌requests爬虫-第一关
dearlwy521的博客
04-19 9728
import requests def get_html(url): ''' 两个参数 :param url:统一资源定位符,请求网址 :param headers:请求头 :return:html ''' # ***************** Begin ******************** # # 补充请求头 headers={"User-Agent": "Mozilla/5.0 (Windows NT.
Scrapy Python爬虫实战：抓取知乎问题下所有回答！
qq_36807888的博客
09-28 1477
今天趁摸鱼的时候玩了会知乎，突然看到一个非常有意思的话题 单身狗不知道还能干什么，所以特地把这些数据都抓下来，看看不除了第二杯半价还能干什么？ 创建scrapy项目 前面教程概念讲的我嘴都麻了，估计大家看得也快烦死了， 直接进入主题吧! 项目创建完成结构如下： 需求分析 我们的目标很简单，抓取知乎该话题下的所有评论、作者、首页 评论点赞数和评论时间并将其保存做可视化分析 网页分析
一分钟爬取知乎5646个知乎回答(内附代码)
一行玩python
04-21 1913
不浪费大家时间，先上目录，选择性阅读 1.爬取介绍2.代码展示3.结果展示4.福利分享 批量爬取知乎回答 灵魂拷问 你有多久没读过一本书了？你知道什么书最值得读吗？你有多久没看过一部电影了？你知道什么电影最值得看吗？ 有人说，我知道可以去看豆瓣评分，按照评分高低排序选书，但是往往评分高的输却不容易阅读，比如说评分高的不一定容易理解，比如下图介绍的《量子力学》，评分高达9.6，五星好评，可惜工作...
python爬虫面试题集锦及答案
AudiA6LV6的博客
09-18 6733
传统定义：分布式存储系统是大量 PC 服务器通过 Internet 互联，对外提供一个整体的服务。分布式存储系统具有以下的几个特性：可扩展 ：分布式存储系统可以扩展到几百台甚至几千台这样的一个集群规模，系统的 整体性能线性增长。低成本 ：分布式存储系统的自动容错、自动负载均衡的特性，允许分布式存储系统可 以构建在低成本的服务器上。另外，线性的扩展能力也使得增加、减少服务器的成本低， 实现分布式存储系统的自动运维。
知乎回答爬取
zyh960的博客
10-14 1522
怎么爬取知乎的内容 我们一步步来分析，首先打开知乎，来到我们要爬取的页面 然后我们再来看看它的参数 经过测试我们要填写对应的x-zse-96我们才能获取到对应的内容才行，并且每一个API对应的zse-96都不同，因此我们就需要去破解这个参数我们才能去获取对应的内容 在这里就涉及到了js逆向思维了我们一步步来看 首先先去查找对应的js的位置再进行分析判断 点击search，然后把x-zse-96复制进去开始查找 知道了思路，我们再来说说解法 首先先说说MD5的解法 得到了(l()(s)
python爬取知乎问题_Python-爬取知乎某个问题下的所有回答
06-11
您可以使用 Python 中的 requests 和 BeautifulSoup 库来爬取知乎某个问题下的所有回答。具体实现步骤如下： 1. 打开知乎问题页面，获取问题的 URL。 2. 使用 requests 库发送 GET 请求，获取页面的 HTML 内容。 3....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值