使用Python获取短视频与评论（App与Web端分析）

已于 2024-04-17 16:06:25 修改
阅读量5.8k 收藏 100
点赞数 89
分类专栏： 爬虫JS逆向 文章标签： python 快手爬虫 数据分析
于 2023-11-30 09:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiulin_wu/article/details/134668061
版权
本文介绍了如何使用Python进行短视频应用和网页的抓包分析，涉及APP端的frida hook配置、抓包信息解析，以及Web端的graphql接口抓取。作者通过抓包分析，展示了如何获取评论数据，并提供了Python爬虫代码实现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

【🏠作者主页】：吴秋霖
【💼作者介绍】：擅长爬虫与JS加密逆向分析！Python领域优质创作者、CSDN博客专家、阿里云博客专家、华为云享专家。一路走来长期坚守并致力于Python与爬虫领域研究与开发工作！
【🌟作者推荐】：对爬虫领域以及JS逆向分析感兴趣的朋友可以关注《爬虫JS逆向实战》《深耕爬虫领域》
未来作者会持续更新所用到、学到、看到的技术知识！包括但不限于：各类验证码突防、爬虫APP与JS逆向分析、RPA自动化、分布式爬虫、Python领域等相关文章

1. APP端抓包配置

  在开始抓包配置之前相关的配置操作，可以看我之前的文章：

了解本专栏 订阅专栏 解锁全文
Python爬虫-快手photoId
Python进阶专栏《爬虫实战进阶》，《Pyppeteer从入门到精通》原创作者
07-30 2121
本文是该专栏的第49篇，后面会持续分享python爬虫干货知识，记得关注。笔者在本专栏的上一篇，有详细介绍平台视频播放量的方法。与该平台相关联的文章，笔者已整理在下方，感兴趣的同学可查看翻阅。而继上一篇结合pcursor参数获取播放量，笔者在本文再来介绍photoId参数。知道photoId参数生成规律之后，就可以采集视频的评论数据。至于具体方法，将在正文结合代码来详细讲述。废话不多说，跟着笔者直接往下看详细采集评论的方法。（附带完整代码）对于pcursor，笔者之前在文章“某视频平台pcursor”，有重
Python爬虫教程：抓取短视频平台数据（以抖音和快手为例）
最新发布
2201_76125261的博客
04-10 1741
为什么抓取短视频平台数据？内容分析：通过抓取短视频平台上的视频内容、标题、标签等数据，可以进行内容分类、趋势分析、话题分析等。情感分析：抓取视频的评论数据，并进行情感分析，帮助企业或组织了解公众的情绪反馈。用户行为分析市场监测：通过抓取特定关键词或标签下的视频数据，分析市场趋势，进行竞争对手分析。短视频平台数据类型：视频信息：包括视频标题、描述、标签、作者等。用户信息：包括用户的昵称、粉丝数、关注数等。互动数据评论数据：视频下的用户评论内容及用户信息。
获取快手评论
douhaoguan的博客
09-25 563
获取快手评论
python爬虫，快手视频爬取，持续更新中......
Shuttle的技术博客
07-27 4664
python爬虫，快手视频爬取，持续更新中支持平台爬虫环境爬虫运行成功获取视频展示如何获取快手列表页面链接github地址 支持平台 爬虫环境 需要安装nodejs 本人安装的nodejs环境如下 python3环境安装（本人是mac，直接brew安装，windows环境自行解决哈） 爬虫运行 运行命令：python3 extract.py 这里本人做过改造，改造为爬取快手列表页的视频地址： while True: urlOri = input("输入列表页链接)：")
Python爬虫-快手pcursor
Python进阶专栏《爬虫实战进阶》，《Pyppeteer从入门到精通》原创作者
05-08 2194
本文是该专栏的第47篇，后面会持续分享python爬虫干货知识，记得关注。感兴趣的同学，可往前翻阅查看。而本文，在浏览器输入该url地址或者直接打开你需要查看的目标个人主页的时候，直接F12打开浏览器抓包工具，鼠标下拉个人主页的页面，短视频会自动刷新，并观察右侧抓包工具的数据加载变化
简单爬虫案例——爬取快手视频
m0_57265868的博客
07-01 3001
网址：aHR0cHM6Ly93d3cua3VhaXNob3UuY29tL3NlYXJjaC92aWRlbz9zZWFyY2hLZXk9JUU2JThCJTg5JUU5JTlEJUEy。视频链接在photourl中。
python爬取抖音评论_使用python爬虫,批量爬取抖音app视频（requests+Fiddler+appium）
weixin_39997664的博客
11-20 4324
抖音很火，楼主使用python随机爬取抖音视频，并且无水印下载，人家都说天下没有爬不到的数据，so，楼主决定试试水，纯属技术爱好，分享给大家。。1.楼主首先使用Fiddler4来抓取手机抖音app这个包，具体配置的操作，网上有很多教程供大家参考。上面得出抖音的视频的url，这些url均能在网页中打开，楼主数了数，这些url的前缀有些不同，一共有这4种类型：v1-dy.ixigua.comv3-dy...
使用Python爬取华为市场游戏类APP应用
吴秋霖的博客
05-31 3433
使用Python爬取华为应用市场内APP信息与APK下载做数据分析～
关于阿里云oss获取sts凭证 app直传 python的实例
09-18
在本文中，我们会介绍如何使用Python来获取阿里云OSS的STS凭证，并且实现app直传的功能。我们将基于aliyun-python-sdk-core和aliyun-python-sdk-sts这两个SDK来实现。 首先，需要安装aliyun-python-sdk-core和...
某APP与Web端多场景下反爬虫与风控详解
吴秋霖的博客
12-28 4344
反爬虫业务场景与相关行为风控分析
Python爬虫爬取快手评论
zlhnp的博客
06-22 1796
本爬虫代码能够爬取快手短视频的评论，并将获取的评论信息保存到Navicat数据库中。下面是具体的实现方法
批量下载快手视频的脚本 Python+操作教程.zip
10-08
批量下载快手视频的脚本 Python+操作教程
python爬虫爬取快手视频多线程下载功能【fd的使用】
丿灬安之若死
03-22 4015
环境： python 2.7 + win10 工具：fiddler postman 安卓模拟器 首先，打开fiddler，fiddler作为http/https 抓包神器，这里就不多介绍。 配置允许https   配置允许远程连接 也就是打开http代理   电脑ip: 192.168.1.110 然后 确保手机和电脑是在一个局域网下，可以通信。由于
爬虫（一）——爬取快手无水印视频
liuzibujian的博客
07-17 2258
最近对爬虫比较感兴趣，于是浅浅学习了一些关于爬虫的知识。爬虫可以实现很多功能，非常有意思，在这里也分享给大家。由于爬虫能实现的功能太多，而且具体的实现方式也有所不同，所以这里开辟了一个新的系列——爬虫系列，来介绍爬虫的各种用法。
python快手批量采集（一）
qq_47459180的博客
05-14 2625
一个实用的快手爬虫技巧分享
python爬取快手视频_【原创开源】快手爬虫，根据id批量爬取用户的所有图集和视频...
weixin_35854529的博客
02-04 5646
更新日志所有版本更新日志会记录在这里v0.4.0(2020-03-23)修复id转eid的一些bug从该版本开始，爬取视频均为无水印v0.3.0(2020-03-10)修复一些因为用户昵称中存在windows下文件(夹)名非法字符导致os无法写入读取的bug简单看了一点python面向对象，将核心功能提取为crawler类，降低耦合基于crawler类，分出两个文件，一个用于直接在python环境...
Python爬虫-快手播放量
Python进阶专栏《爬虫实战进阶》，《Pyppeteer从入门到精通》原创作者
05-18 3393
在本专栏之前，有详细介绍过快手参数pcursor，为什么要提到它，因为本文要提到的视频播放量就需要pcursor。而对该平台相关联的文章，已经整理在下方，感兴趣的同学可查看翻阅。需要注意的是，这里需要带入你的cookie，不带cookie进行请求的话，只能获取部分数据。pcursor在本专栏上篇文章中，有详细介绍获取的方法，本文就不过多详述了，具体方法查看“本文是该专栏的第48篇，后面会持续分享python爬虫干货知识，记得关注。：获取视频真实播放量。
Python 爬虫 小案例 之 快手下载视频
weixin_62853513的博客
12-28 1379
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章
python爬快手个人介绍_介绍Python的抖音快手字符舞
weixin_36401802的博客
02-10 291
先上效果，视频敬上：字符舞：代码舞源代码：video_2_code_video.pyimport argparseimport osimport cv2import subprocessfrom cv2 import VideoWriter_fourccfrom PIL import Image, ImageFont, ImageDraw# 命令行输入参数处理# aparser = argpars...
airtest 快手爬虫
02-15
### 使用Airtest实现快手爬虫的方法 对于使用Airtest框架来开发针对快手平台的自动化测试脚本或爬取公开数据的情况，通常涉及模拟用户操作流程。这包括启动应用、滚动浏览页面以及点击特定元素等动作。 #### 启动快手应用程序并登录 为了开始编写Airtest脚本，首先需要确保设备已连接，并安装好所需的应用程序。接着可以通过`start_app()`函数启动目标APP： ```python from airtest.core.api import * # 连接安卓设备（需替换为实际设备ID） connect_device("Android:///<device_id>") # 启动快手应用 start_app('com.kuaishou.nebula') ``` #### 定位界面元素与交互 利用图像识别技术定位屏幕上的按钮或其他UI组件，进而执行触摸事件完成互动行为。例如自动点赞功能可这样实现: ```python # 寻找首页推荐视频区域内的第一个赞图标位置 pos = exists(Template(r"like_button.png")) if pos: touch(pos) else: print("未找到指定模板图片") ``` 此处假设存在一张名为`like_button.png`的截图文件作为匹配依据[^1]。 #### 实现多线程并发处理 考虑到效率问题，在某些场景下可能希望同时运行多个任务。这时就可以借助Python内置库中的Threading模块配合Airtest一起工作了： ```python import threading def like_videos(): while True: # 执行一系列查找和点击的操作... for i in range(5): # 创建五个子线程 t = threading.Thread(target=like_videos, daemon=True) t.start() ``` 需要注意的是，由于涉及到频繁访问网络资源和服务端接口调用等因素的影响，建议合理控制频率以免触发反作弊机制造成封号风险。
评论 67
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吴秋霖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值