连接为ws开头的url Python爬取websocket数据过程示范

本文介绍了如何鉴别和爬取websocket数据。通过分析网页源码的network和WS部分,确定数据类型。在建立socket连接后,需先发送特定数据以等待服务器响应。展示了爬取以'ws'开头的url时,初始发送的数据示例,并提供了成功爬取实时数据的代码案例,以905812总有功电度数据为例。
摘要由CSDN通过智能技术生成
# 爬取之前必须 注意需要装 2 个 包
pip install websocket
pip install websocket-client  # 这个虽然在代码表面中没用,但是这个包不能少

适用于任何版本

先分析要求

1 如何鉴别 所爬取数据为websocket数据,也就是 时时数据。
首先 按 f12 查看网页源码,选中 netwoek ,清空(clear),选中WS,如图所示
之后 刷新网页,发现WS中还有数据,那说明,你爬取的数据为Websocket时时数据。
如图所示
在这里插入图片描述
2 首先要确认的一点,socket连接 建立后是要先向服务器发送一条数据,等服务器回复,之后再建立的基础上再发(向服务器),服务器再回复数据的过程。
所以要先向服务器发送数据,(每个爬取的url不同,所起始发的数据也不同,这些都可以通过浏览器的 WS下的显示可读取,socket连接是需要时间的所以要在WS这个见面等待1-3分钟 看规律)

所以 我爬取的数据 起始发的数据为
‘201500010409[7]Net1.briLeModbu

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值