python爬取知乎话题广场_知乎一共有多少个话题？

最新推荐文章于 2023-10-24 20:14:57 发布
最新推荐文章于 2023-10-24 20:14:57 发布
阅读量654 收藏
点赞数
文章标签： python爬取知乎话题广场
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36013970/article/details/113984440
版权

a3fd682578d80a9cdb98d45c5048007c.png

上图可知，它是通过请求POST接口来取得知乎话题数据，接口信息：

ed8b2aae4c1427158bae87f28552a95d.png

其中topic_id指大分类下的id，offset是指偏移量，指每次执行next方法加载的子话题数量，hash_id可以为空我们暂时忽略它。当每次加载数据时候offset偏移20，每次切换父话题都需要改变id编号。

嗯，大致上就是这样的。我们可以通过POSTMAN模拟一下请求。

2. 获取话题

通过分析页面元素可知

[

3d554239fb688a4e2c82c8369aecb045.png

43f69fd1121d8aa8719b6a4f93a0e30f.png

每一个标签都含有一个data-

id的东

最低0.47元/天 解锁文章
Alfred Cheng
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
requests模拟ajax异步请求
03-25 7661
requests python ajax
Python爬取知乎日报视频&源码
01-31
爬取知乎日报的源码以及录制的视频，让你学会如何爬取知乎日报，反爬策略，代理等技术
Python爬取知乎
09-03
如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛， 沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序；
爬取知乎话题广场
weixin_44535544的博客
09-27 1835
不登录爬取知乎中一个话题的所有问题和所有回答 分享一套不需要登录就可以爬取知乎上的问题以及回答的爬虫方案。 需要的模块 faker 生成虚拟的user-agent requests 请求数据 json 格式化json数据并读取 re 正则表达式提取数据 pip install faker 首先分析网页 进入知乎话题广场，跳过知乎登录页面https://www.zhihu.com/topics...
python爬取知乎话题广场_学习python爬虫---爬虫实践：爬取B站排行榜2（爬取全部分类排行榜、利用pygal库作图）...
weixin_34900758的博客
01-13 311
前面我们爬取了B站上全站的排行榜，详细见：魏勇：学习python爬虫---爬虫实践：爬取B站排行榜​zhuanlan.zhihu.com一、爬取全部分类排行榜我们观察一下B站排行榜，那里还有番剧排行榜、国产动画、纪录片等等分类排行榜，那么今天我们就把这些分类排行榜全部爬取下来。观察我们的番剧、国产动画、记录片排行榜的url，分别如下：https://www.bilibili.com/v/popul...
python爬虫：requests+pyquery实现知乎热门话题爬取
qq_44690947的博客
07-21 2900
文章目录前言1. requests库的基本使用2. pyquery库的基本使用3. 爬取知乎热门话题 前言 有些东西想忘都忘不了，而有些却转背就忘了！这段时间忙于找工作和学习mysql，把爬虫搁置一边，今天翻开书发现忘得差不多了，于是想到爬爬知乎热门话题，以此来温习爬虫的基本知识点。 1. requests库的基本使用 1.1 网页获取get和post 前提安装好了requests库，get请求和post请求 #get请求 import requests r = requests.get('url') pr
scrapy能不能爬ajax,关于scrapy爬虫AJAX页面
weixin_35625739的博客
08-05 201
问题：爬取信息页面为：知乎话题广场当点击加载的时候，用Chrome 开发者工具，可以看到Network中，实际请求的链接为：FormData为：urlencode：然后我的代码为：...data = response.css('.zh-general-list::attr(data-init)').extract()param = json.loads(data[0])topic_id = par...
python爬取知乎热榜了解时事
10-18
python爬取知乎热榜内容实现时事了解
知乎热榜_爬虫_搜集热榜话题_python_
10-01
本项目聚焦于使用Python进行网页爬虫，目标是抓取知乎网站的实时热门话题列表。通过理解并实践这个项目，你可以深入学习到以下几个关键知识点： 1. **网络爬虫基础**：网络爬虫是一种自动提取网页信息的程序。在这...
Python知乎爬虫——爬取知乎用户简单数据信息
05-08
萌新入坑代码，大佬勿喷
zhihu:zhihu是一个知乎话题内容的爬虫，可以爬取知乎所有的话题相关的问答内容
05-02
zhihu说明文档 介绍 zhihu是一个知乎话题内容的爬虫，可以爬取知乎所有的话题相关的问答内容，爬虫框架使用scrapy，数据存储使用mongo。由于知乎话题的问答内容信息巨大（亿级数据量），这里只是爬取了话题广场的“阅读”话题下的所有子话题下的精华问题与回答的相关信息。 代码说明 运行环境 Windows 10 专业版 Python 3.5/Scrapy 1.5.0/MongoDB 3.4.7 依赖包 Requests Pymongo Faker(随机切换User-Agent) 其它 知乎话题广场有33个父话题，每个父话题有不同数量的子话题，每个子话题下又有很多的精华问题，每个精华问题下有不同数量的回答，如果想要完全爬取所有的问答，由于数据量太大，耗时太久。这里选择了“阅读”话题进行数据爬取。知乎的子话题、精华问答的内容都是采用动态加载的方法进行更新获取的，在分析了其动态加载链接后，
随笔：使用Python爬取知乎上相关问题的所有回答
最新发布
weixin_43303286的博客
10-24 3923
项目中数据分析的需要自己从知乎某个专门的问题上爬数据，但众所周知，知乎的问题的显示方式有点胃疼（指滑动后下翻加载更多回答，还经常卡住），翻了翻网上的教程发现有的要么就是很老了要么就是付费的，本着开源共赢的原则，写一篇记录一下自己踩过的坑，也给后面人警醒。看之前参考了这篇文章。
知乎根据话题ID爬虫
qq_41424214的博客
11-11 451
Python爬虫 根据话题URL加载网页，筛选内容，存储图片URL，下载图片 重点在此 笔者本人没有接触过Python，看到人家的文章和部分def方法萌生念头，在人家基础上写了此文章，当然笔者也根据自己想法作了部分创新，原文章具体出处已不可考 目录换掉可以直接运行，代码如下： import os import re import argparse import json import reques...
python爬取知乎话题广场_用于爬取知乎某个话题下的精华问题中所有回答的爬虫...
weixin_34175978的博客
02-10 1556
思路我的整个算法的思路还是很简单的，文字版步骤如下：1、通过话题广场进入某个话题的页面，避免了登陆注册页面的验证，查找到对应要爬取的话题，从 url 中得到话题id2、该页面的所有资源采用了延迟加载，如果采用模拟浏览器进行加载的话还是很麻烦，经研究后发现知乎有前后端数据传输的api，所以获取数据方面是基于知乎提供的api3、设置 offset 和 limit，以及将爬取的评论用几个正则和简单的去重...
知乎API搜集
热门推荐
岁月如歌
03-10 1万+
搜集的知乎API
【一学就会】爬取知乎热榜话题下的回答及评论点赞数
m0_48840636的博客
05-02 1544
最近印度新冠疫情爆发，连我国都有好几个城市出现了印度的变异病毒。为此，我特意去知乎上逛了逛关于印度疫情的话题 【如何看待全球新冠确诊超 1.5 亿，印度单日新增确诊连续 9 天超 30 万例，未来国际疫情形势如何？】 世界卫生组织30日公布的最新数据显示，全球累计新冠确诊病例达150110310例。印度卫生部30日公布的数据显示，该国较前一日新增新冠确诊病例386452例，累计18762976例；新增死亡3498例，累计208330例。印度单日新增确诊病例已连续9天超过30万例。 下面我们来爬取这一话题下的
知乎话题爬虫干货
qq_35159009的博客
05-24 614
1. 多进程 当爬虫的数据量越来越大时，除需要考虑存储方式外，还需考虑爬虫时的速度问题。串行爬取只有当一次爬取完之后才可进行下一次爬取，极大地限制了爬取的速度和效率。 当计算机运行程序时，会创建进程，包含代码和状态。而计算机的一个或多个CPU将会执行这些进程。同一时刻每个CPU只会执行一个进程，然后在不同进程之间快速切换。在一个进程中，程序的执行也是在不同线程之间进行切换的，每个线程将会执行程序的...
python爬虫如何爬知乎的话题？
weixin_33845477的博客
01-05 197
因为要做观点，观点的屋子类似于知乎的话题，所以得想办法把他给爬下来，搞了半天最终还是妥妥的搞定了，代码是python写的，不懂得麻烦自学哈！懂得直接看代码，绝对可用 #coding:utf-8 """ @author:haoning @create time:2015.8.5 """ from __future__ import divi...
python爬取知乎热门话题及其回答（requests中session保持cookies的应用）
Rowlingz
04-18 5176
以python爬取知乎网页，一般搜索知乎后，需要登录后才能看到内容，所有在爬取时需要通过登录后才能实现。可以采用selenium进行操作，或者事先登录好后，保留下cookies，访问的时候带上cookies就行了。 我这里采用selenium模拟登录，获取cookies后保存至本地，而后借助requests的session保持会话，保持cookies，同时用beautifulsoup进行页面解析。...
python爬取知乎热搜_python爬取知乎
05-29
您好！要爬取知乎热搜，可以使用Python中的requests和BeautifulSoup库。具体步骤如下： 1. 导入requests和BeautifulSoup库： ```python import requests from bs4 import BeautifulSoup ``` 2. 使用requests发送GET请求获取网页内容： ```python url = 'https://www.zhihu.com/hot' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) ``` 3. 使用BeautifulSoup解析网页内容： ```python soup = BeautifulSoup(response.text, 'html.parser') ``` 4. 找到热搜榜单的内容所在的HTML标签，并提取其中的信息： ```python hot_list = soup.find_all('div', class_='HotItem-content') for hot in hot_list: title = hot.find('h2').text url = hot.find('a')['href'] print(title, url) ``` 上述代码中，我们首先使用find_all()方法找到class为"HotItem-content"的div标签，然后逐个提取出每个热搜的标题和链接，并输出到控制台。 希望这个回答能够帮到您！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值