连接为ws开头的url Python爬取websocket数据过程示范

最新推荐文章于 2024-04-29 10:40:41 发布
最新推荐文章于 2024-04-29 10:40:41 发布
阅读量6.7k 收藏 11
点赞数 5
分类专栏： python 爬虫 文章标签： python ws socket
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43883666/article/details/92646923
版权
本文介绍了如何鉴别和爬取websocket数据。通过分析网页源码的network和WS部分，确定数据类型。在建立socket连接后，需先发送特定数据以等待服务器响应。展示了爬取以'ws'开头的url时，初始发送的数据示例，并提供了成功爬取实时数据的代码案例，以905812总有功电度数据为例。
摘要由CSDN通过智能技术生成 
# 爬取之前必须 注意需要装 2 个 包
pip install websocket
pip install websocket-client  # 这个虽然在代码表面中没用，但是这个包不能少

适用于任何版本

先分析要求

1 如何鉴别 所爬取数据为websocket数据，也就是 时时数据。
首先 按 f12 查看网页源码，选中 netwoek ，清空（clear），选中WS，如图所示
之后 刷新网页，发现WS中还有数据，那说明，你爬取的数据为Websocket时时数据。
如图所示
在这里插入图片描述
2 首先要确认的一点，socket连接 建立后是要先向服务器发送一条数据，等服务器回复，之后再建立的基础上再发（向服务器），服务器再回复数据的过程。
所以要先向服务器发送数据，（每个爬取的url不同，所起始发的数据也不同，这些都可以通过浏览器的 WS下的显示可读取，socket连接是需要时间的所以要在WS这个见面等待1-3分钟 看规律）

所以 我爬取的数据 起始发的数据为
‘201500010409[7]Net1.briLeModbu

最低0.47元/天 解锁文章
爱你三千遍s
关注
专栏目录
wsurl:将 url 与 websockets 结合使用的示例
06-23
Websocket 和 URL 这是一个参考： : 基本上，一个 websocket 服务器可以根据客户端尝试连接到服务器时使用的 URL 来区分客户端。 所以一个客户端可以在ws://blah.com/giraffe上连接，另一个客户端可以在ws://blah.com/giraffe上ws://blah.com/elephant 。 服务器可以选择对他们一视同仁，或者选择将他们分成不同的聊天室（如果我们正在制作聊天应用程序）。 server.js是一个服务器的例子， client.js使用唯一的 URL 连接。
python连接websocket
bcjjq的博客
10-20 2467
import _thread import json import ssl import time import websocket def on_message(ws, message): print(ws) print(message) def on_error(ws, error): print(ws) print(error) def on_close(ws): print(ws) print("closed") def on_open.
关于 websocket 的 连接
chenlengsu_it的博客
12-20 2054
// wsurl 是 socket 的url // ip 是服务器的ip，例如 192.168.0.1 这样子的ip // host 是 后端服务的端口 例如 192.168.0.1:8081， 8081 就是端口 // 格式 为 ws://${ip}:${host}/路径 let socket = '' openSocket(wsurl) { socket = new WebSocket(wsurl) socket.onopen = () => { conso
python---websocket的使用
weixin_30652897的博客
06-29 456
一：简介 推文：WebSocket 是什么原理？为什么可以实现持久连接？ 推文：WebSocket：5分钟从入门到精通（很好） WebSocket协议是基于TCP的一种新的协议。WebSocket最初在HTML5规范中被引用为TCP连接，作为基于TCP的套接字API的占位符。它实现了浏览器与服务器全双工(full-duplex)通信。其本质是保持TCP连接，在浏览器和服务端通过Socket进...
Python如何爬取实时变化的WebSocket数据的方法
09-19
主要介绍了Python如何爬取实时变化的WebSocket数据的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Python 实现 WebSocket 通信
热门推荐
CSDN
11-17 1万+
WebSocket是一种在Web应用程序中实现双向通信的协议。与传统的HTTP请求-响应模型不同，WebSocket允许服务器主动向客户端推送数据，实现实时性和互动性。：WebSocket提供了全双工通信，允许服务器和客户端同时发送和接收数据。相比起传统的HTTP请求-响应模型，WebSocket使得服务器可以主动推送数据给客户端，而不需要客户端首先发起请求。：与HTTP请求不同，WebSocket连接是持久的，即一旦建立连接，它将保持打开状态，直到其中一方关闭连接或发生错误。
详解python websocket获取实时数据的几种常见链接方式
01-01
第一种, 使用create_connection链接，需要pip install websocket-client (此方法不建议使用，链接不稳定，容易断，并且连接很耗时) import time from websocket import create_connection url = 'wss://i.cg.net/...
python实现WebSocket服务端过程解析
01-02
一种类似Flask开发的WebSocket-Server服务端框架，适用python3.X 1、安装模块Pywss pip install pywss 2、搭建简易服务器 2.1 服务端代码 代码简介 route: 注册请求路径 example_1(request, data): request: ...
python 通过socket通讯实现实时摄像头视频传输
dabo_520的博客
04-03 4114
通过客户端调用摄像头进行获取每一帧图象，再传输到服务端呈现实时视频。
python抓取websocket_通过python和websocket捕获进程的输出到网页上
weixin_39779004的博客
11-30 132
WebSocket是html5中实现的一种新协议，相比http优势的是它是一种双向通信协议，不用像通过ajax长轮询请求服务器去实现类似的需求。我们先来看下需要的基础知识：1、autobahn：autobahn是websocket的python实现。2、twisted: Twisted是一个python异步解决方案，基于事件驱动的网络引擎框架。# 先装包pip install autobahn t...
python wss协议服务端和客户端
F1234N的博客
03-16 2489
Python websockets是用于在Python中构建WebSocket服务器和客户端的库，它基于asyncio异步IO建立，提供基于协程的API。运行代码会报错：AttributeError: module ‘websocket‘ has no attribute ‘enableTrace‘发现一个问题就是，客户端根本不需要加载公钥证书。无论是js浏览器客户端去连，还是使用python写的客户端去连。而服务端需要公钥和私钥。依赖的三方库为： websocket, websocket-client.
前端面试知识点大全——HTTP协议篇（二）
随风丶逆风的博客
11-17 509
总纲：前端面试知识点大全 目录 1.断点续传的原理 2.TCP协议 2.1 TCP三次握手 2.2 TCP四次挥手 2.3 客户端等待2个MSL（报文最大生存时间）的原因 2.4 为什么建立连接是三次握手，关闭连接确是四次挥手呢？ 2.5 TCP心跳机制（不会无限制保持长连接） 3.一次URL请求的完整过程 4.websocket 4.1 websocket使用 4.2 W...
websocket 简介
chifu6497的博客
09-04 1005
一 WebSocket是html5新增加的一种通信协议，目前流行的浏览器都支持这个协议，例如Chrome，Safrie，Firefox，Opera，IE等等，对该协议支持最早的应该是chrome，从chrome12就已经开始支持，随着协议草案的不断变化，各个浏览器对协议的实现也在不停的更新。...
Python如何爬取实时变化的WebSocket数据
weixin_34411563的博客
03-08 3268
一、前言 作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据。如下图： Web 领域中，用于实现数据'实时'更新的手段有轮询和 WebSocket 这两种。轮询指的是客户端按照一定时间间隔（如 1 秒）访问服务端接口，从而达到 '实时' 的效果，虽然看起来数据像是实时更新的，但实际上它有一定的时间间隔，并不是真正的实时更新。轮询通...
前端调用WebSocket协议接口获取数据
最新发布
m0_56023096的博客
04-29 860
createWs("测试数据", (res) => {
python的ws库功能，实时获取服务器ws协议返回的数据
10-18 6406
# -*- coding:utf-8 -*- ''' 模块下载，帮助地址：https://github.com/liris/websocket-client#readme 模块：websocket-client 说明：websocket客户端 比较方便，可以根据自己的真实环境，进行改动 ''' from websocket import create_connection import re...
websocket协议和http协议的封装
xinran_hua的博客
06-09 604
封装Common类,将 WebSocket 的协议封装到你的框架后，你就拥有了一个既包含 HTTP 协议又包含 WebSocket 协议的接口测试框架了。
Python连接Websocket读写内容
keeng2008的学习笔记
05-19 424
Python连接Websocket读写内容, 连接ws成功之后，一边读一边写。
websocket测试工具，支持ws wss客户端
qq_22482253的博客
02-13 1万+
websocket测试工具，支持ws wss客户端websocket测试工具，支持ws wss客户端程序界面测试效果程序说明使用说明使用注意开发环境测试环境程序版本源文章出处下载地址（百度云） websocket测试工具，支持ws wss客户端 一款支持ws和wss的websocket测试工具。 程序界面 测试效果 程序说明 1.支持ws和wss 2.支持域名访问ws和wss访问 3.支持ws和wss带入参数 使用说明 填写接口地址时如果是80端需要填写端 如：ws://127.0.0.1:80 或者w
python 连接websocket
08-18
你可以使用 `websockets` 库来连接 WebSocket 服务器。首先，确保你已经安装了 `websockets` 库，你可以通过以下命令来安装： ``` pip install websockets ``` 接下来，你可以使用以下代码来连接 WebSocket 服务器： ```python import asyncio import websockets async def connect_websocket(): async with websockets.connect('ws://<websocket_server_address>') as websocket: # 在这里执行与 WebSocket 服务器通信的操作 # 例如，发送和接收消息 await websocket.send('Hello, WebSocket server!') response = await websocket.recv() print(f'Received message: {response}') # 运行 WebSocket 连接 asyncio.get_event_loop().run_until_complete(connect_websocket()) ``` 请将 `<websocket_server_address>` 替换为 WebSocket 服务器的地址。注意，地址以 `ws://` 开头。 在 `connect_websocket` 函数中，你可以执行与 WebSocket 服务器通信的操作。示例代码中，我们发送了一个简单的消息，并等待服务器的响应。 希望能帮助到你！如果有任何问题，请随时问我。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值