连接为ws开头的url Python爬取websocket数据过程示范

最新推荐文章于 2024-08-23 00:02:02 发布

爱你三千遍s

最新推荐文章于 2024-08-23 00:02:02 发布

阅读量6.7k

点赞数 5

分类专栏： python 爬虫文章标签： python ws socket

本文链接：https://blog.csdn.net/weixin_43883666/article/details/92646923

版权

本文介绍了如何鉴别和爬取websocket数据。通过分析网页源码的network和WS部分，确定数据类型。在建立socket连接后，需先发送特定数据以等待服务器响应。展示了爬取以'ws'开头的url时，初始发送的数据示例，并提供了成功爬取实时数据的代码案例，以905812总有功电度数据为例。

摘要由CSDN通过智能技术生成

# 爬取之前必须 注意需要装 2 个 包
pip install websocket
pip install websocket-client  # 这个虽然在代码表面中没用，但是这个包不能少

适用于任何版本

先分析要求

1 如何鉴别所爬取数据为websocket数据，也就是时时数据。
首先按 f12 查看网页源码，选中 netwoek ，清空（clear），选中WS，如图所示
之后刷新网页，发现WS中还有数据，那说明，你爬取的数据为Websocket时时数据。
如图所示
在这里插入图片描述
2 首先要确认的一点，socket连接建立后是要先向服务器发送一条数据，等服务器回复，之后再建立的基础上再发（向服务器），服务器再回复数据的过程。
所以要先向服务器发送数据，（每个爬取的url不同，所起始发的数据也不同，这些都可以通过浏览器的 WS下的显示可读取，socket连接是需要时间的所以要在WS这个见面等待1-3分钟看规律）