干货：手把手教你——某宝直播弹幕爬虫

最新推荐文章于 2024-03-17 23:48:25 发布
VIP文章 最新推荐文章于 2024-03-17 23:48:25 发布
阅读量4.4k 收藏 4
点赞数 2
分类专栏： 分布式 双十一电商项目实战 JAVA架构进阶
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gupaoxueyuan/article/details/78782089
版权

前言

公司有通过淘宝直播间短链接来爬取直播弹幕的需求, 奈何即便google上面也仅找到一个相关的话题, 还没有答案. 所以只能自食其力了.

我们先看一下爬虫的最终效果:

下面我们来抽丝剥茧, 重现一下调研过程.

不知道该如何做的朋友，我还是推荐下java学习群：587372254，首先你要有基础，其次不管你是小牛还是大牛，都挺欢迎，群里每天都会分享java相关干货。

页面分析

直播间地址在分享直播时可以拿到:

弹幕一般不是websocket就是socket. 我们打开dev tools过滤ws的请求即可看到websocket地址:

提一下斗鱼: 它走的是flash的socket, 我们就算打开dev tools也是懵逼, 好在斗鱼官方直接开放了socket的API.

我们继续查看收到的消息, 发现消息的压缩类型compressType有两种: COMMON和GZIP. data的值肯定就是目标消息了, 看起来像经过了base64编码, 解密过程后面再说.

现在我们首先要解决的问题是如何拿到websocket地址. 分析一下html source, 发现可以通过其中不变的部分查找到脚本:

然鹅, 拿到这块整个的脚本格式化之后发现, 原始代码明显是模块化开发的, 经过了打包压缩. 所以我们只能分析模块内一小块代码, 这是没有意义的.

但是我们可以观察到不同的直播间websocket地址唯一不同的只有token, 所以我们可以想办法拿到token. 当然这是很恶心的环节, 完全没有头绪, 想到的各种可能性都失败了. 后面像无头苍蝇一样看页面发起的请求, 竟然给找到了...

token是通过api请求获取的, api地址是:

http://h5api.m.taobao.com/h5/mtop.mediaplatform.live.encryption/1.0/

好了那websocket地址的问题解决了, 我们开始写爬虫吧.

编写爬虫

看看api的query string那一堆动态参数, 普通爬虫就别想了, 我们祭出神器: puppeteer.

最低0.47元/天 解锁文章
小码农 TT
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
使用Python编写网络爬虫提取网络直播平台的直播内容和观众评论
2201_76125393的博客
07-14 924
本篇博客将介绍如何使用Python编写网络爬虫来提取网络直播平台的直播内容和观众评论。我们将使用Python的爬虫库和技术，如Requests和BeautifulSoup，来解析网页并提取所需的数据。通过本文的指导，您将学会如何编写高效的爬虫程序，实现网络直播内容和观众评论的自动化获取。
淘宝API接口
09-06
淘宝API标准接口 protected $taobaoData; private $_userParam = array(); private $_errorInfo; /** * @var Taoapi_Util */ public static $Taoapi_Util; /** * @var Taoapi_Config */ public $ApiConfig; /** * @var Taoapi_Cache */ public $Cache; private $_ArrayModeData; public function __construct () { if (self::$Taoapi_Util == NULL) { self::$Taoapi_Util = new Taoapi_Util(); } $Config = Taoapi_Config::Init(); $this->ApiConfig = $Config->getConfig(); $this->Cache = new Taoapi_Cache(); $this->Cache->setClearCache($this->ApiConfig->ClearCache); } public function __set ($name, $value) { if ($this->taobaoData && $this->ApiConfig->AutoRestParam) { $this->_userParam = array(); $this->taobaoData = null; } $this->_userParam[$name] = $value; } public function setUserParam($userParam) { $this->_userParam = $userParam; } public function __get ($name) { if (! empty($this->_userParam[$name])) { return $this->_userParam[$name]; } } public function __unset ($name) { unset($this->_userParam[$name]); }
淘宝直播接口分析！！！ 测试!！！
weixin_43864956的博客
01-21 1969
淘宝直播接口分析！！！ 测试!！！ 最近的某宝直播弹幕接口很火,为此刚好分析了一下某宝电商直播接口协议，但是容易出现 1.{“ret”:[“:亲,访问被拒绝了哦!请检查是否使用了代理软件或VPN哦~”], “data”: {} } 2.{ “ret”: [ “:哎哟喂,被挤爆啦,请稍后重试!” ], “data”: {} } 这种提示，好在我都解决了，封装成了API接口，GET请求. 包括:在播列表 直播间详情 商品列表 商品详情 等等. 直播间详情数据请求: 话不多说,上测试: 测试! 测试! 测试
淘宝直播 弹幕采集协议
weixin_45307278的博客
10-14 587
淘宝直播弹幕采集协议
使用requests库爬取淘宝商品信息
最新发布
m0_64126000的博客
03-17 502
找到搜索信息相关url，复制cookie，referer和uer-agent值。使用get请求得到一种mtopjsonp1()格式的返回值，里面包含商品信息，通过json库将该格式转化为dict格式，方便后续提取数据。
【Python实战】爬虫教程千千万，一到实战全完蛋？前方弹幕高能：教你一键实现自动化指定直播间发送弹幕，为你喜欢的女主播疯狂打call叭~
顾木子吖的博客
03-31 1220
不知道你们平时看不看直播，每次看到界面中的滚动弹幕，还挺有意思。 好啦。今天的文章写到这里就结束了哈，无论你想说什么话，都能自己一键生成。今天的小脚本你爱了嘛？有学到的话记得三连一下哦~超期待你的关注啦。
淘宝直播弹幕API接口协议
专注API/SDK/小程序/公众号/APP开发定制和接口定制
08-21 8089
最近的淘宝直播弹幕接口很火，电商大数据分析 、打标等等场景都是刚需，为此刚好分析了一下淘宝/天猫的这个电商直播接口协议，但是容易出现 {“ret”:[“FAIL_SYS_USER_VALIDATE::亲,访问被拒绝了哦!请检查是否使用了代理软件或VPN哦~”],“data”:{}} 或 { “ret”: [ “FAIL_SYS_USER_VALIDATE::哎哟喂,被挤爆啦,请稍后重试!” ], “data”: {} } 这种提示，好在我都解决了，封账成了API接口，支持PHP、Java、Pytho
淘宝直播弹幕爬虫
weixin_33726318的博客
12-09 6018
背景说明 公司有通过淘宝直播间短链接来爬取直播弹幕的需求, 奈何即便google上面也仅找到一个相关的话题, 还没有答案. 所以只能自食其力了.爬虫的github仓库地址在文末, 我们先看一下爬虫的最终效果: 下面我们来抽丝剥茧, 重现一下调研过程. 页面分析 直播间地址在分享直播时可以拿到: 弹幕一般不是websocket就是socke...
爬虫加密算法实践（淘宝直播+百度指数）
sinat_32501475的博客
09-30 6218
先前分享了《爬虫加密算法浅入浅出》；最近刚好就碰到了一些加密的情况，在此和大家分享分享。
教你用20行代码爬取直播平台弹幕（附源码）
chinaherolts2008的博客
01-15 1904
前言 本文的文字及图片来源于网络,仅供学习、交流python基础教程使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 Python爬虫、数据分析、网站开发等案例教程视频免费在线观看 https://www.xin3721.com/eschool/pythonxin3721/ 基本开发环境 Python 3.6 Pycharm 相关模块的使用 import requests 斗鱼直播视频弹幕爬取分析 教你用20行代码爬取直播平台弹幕（附源码） 斗鱼就选择<一条小团团>的直播视频，毕竟大主
易语言-淘宝直播 [弹幕旺旺采集]
06-26
淘宝直播 [弹幕旺旺采集]
万字干货：手把手教你做需求管理
01-27
通过这篇文章，总结自己在工作实践中需求管理的方法论——普拉姆方法。总结这个方法论的特点是，用最轻量化的投入，与他人协作，并管理需求，推动需求上线。这套方法论组合了项目管理、敏捷开发的知识，希望能对大家...
为设计加分：手把手教你做用户体验地图
02-21
如果你参加过收费的workshop或者看过讲设计方法的书，你一定听过体验地图(ExperienceMaps)。在一些些台版书籍里也叫使用者旅程图(UserJourneyMaps)。如果你听过它，很可能你也吐槽过它。什么?要花那么多时间就为了做...
干货：一文看懂网络爬虫实现原理与技术
01-27
在此，我们将以两种典型的网络爬虫为例（即通用网络爬虫和聚焦网络爬虫），分别为大家讲解网络爬虫的实现原理。首先我们来看通用网络爬虫的实现原理。通用网络爬虫的实现原理及过程可以简要概括如下（见图3-1）。...
阿里云解决方案架构师，讲述分布式架构云平台解决方案（附图文）
热门推荐
小码农 TT
01-24 3万+
技术架构 分布式架构云平台在充分分析IT技术发展趋势，遵循集中化、标准化、集成化、可靠化和可扩展化的设计原则，以价值创造为使命，以规范化、一体化、智能化的云平台为支撑，实现信息的透明共享、业务的敏捷协同、管控及时、决策科学为设计目标，选择传统成熟的J2EE、SOA、应用集成和BI信息技术和新一代的云计算、大数据、移动应用信息技术相结合的技术路线。 分布式架构云平台规划设计了集约化、云架构动态配...
只有2~3年左右的开发经验，为什么年薪就可以达到50万+？
小码农 TT
12-22 1万+
只有2~3年左右的开发经验，为什么年薪就可以达到50万+？
八年Java开发的学习经历自述，希望新人少走弯路
小码农 TT
12-01 1万+
如果你想学习Java工程化、高性能及分布式、高性能、深入浅出。性能调优、Spring，MyBatis，Netty源码分析和大数据等知识点可以来找我。
一个程序员要学会哪些东西，才能独立完成大的项目？
小码农 TT
12-24 1万+
我们99.9%的程序员都会参与一个团队进行开发工作，而并不是单打独斗，但是，没有独立生存的能力是不可能有好的团队合作工作的。
程序员，你是选择25k的996 还是18k的八小时？
小码农 TT
03-29 1万+
还有很多互联网公司早八晚五，早九晚六，早十晚七，甚至一部分创业公司Google范儿，不打卡，弹性工作制，倡导效率至上，快乐工作： 那么，作为程序员，你是选择哪种工作方式呢？如果是相等的报酬，那么肯定是要选择更快乐的工作方式。今天就探讨一个问题，各位程序员们，你是选择月薪25k的996工作，还是月薪18k的八小时工作呢？很多互联网公司，更多的创业公司，老板都喜欢玩996。一些情况是工作真的做不完，更...
获取上传图片的全路径_Flask干货：Flask数据交换——上传文件
06-02
你可以通过 Flask 的 request 对象来获取上传文件的全路径。具体实现方法如下： ```python from flask import Flask, request app = Flask(__name__) @app.route('/upload', methods=['POST']) def upload(): file = request.files['file'] file_path = os.path.join(app.root_path, 'uploads', file.filename) file.save(file_path) return 'File uploaded successfully!' if __name__ == '__main__': app.run() ``` 在这个例子中，我们通过 request 对象获取上传文件，然后使用 os 模块的 join() 方法来获取文件的完整路径。最后，我们将文件保存在指定路径中。 需要注意的是，Flask 在处理文件上传时需要配置 app.config['UPLOAD_FOLDER']，以指定文件的上传路径。在上面的例子中，我们使用 app.root_path 和 'uploads' 组成文件上传的路径。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值