Python爬取WebSocket数据 - 初尝试

最新推荐文章于 2024-06-29 16:14:23 发布
最新推荐文章于 2024-06-29 16:14:23 发布
阅读量5k 收藏 24
点赞数 4
分类专栏： 我的爬虫之旅 文章标签： Python WebSocket 爬虫 我是小白
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Enderman_xiaohei/article/details/89785451
版权
本文介绍了Python爬取WebSocket数据的初步尝试，包括WebSocket的基本概念、分析WebSocket通信、编写爬虫的步骤，以及在抓包、验证和问题解决过程中遇到的细节。通过示例，展示了如何利用Python实现WebSocket的爬虫，同时提到了Fiddler作为强大的抓包工具在WebSocket抓包中的应用。
摘要由CSDN通过智能技术生成

参考链接：

WebSocket 通信原理【底层】：原来你是这样的Websocket–抓包分析
Python 爬取 WebSocket【顶层】：Python如何爬取实时变化的WebSocket数据的方法

注意：可以直接参考上述链接，解释地很详细。

WebSocket 爬虫

目录

1. WebSocket 介绍
2. 分析
3. 编写爬序
4. 其它
5. 总结

一、WebSocket 介绍 ↶

        WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。【摘自 - 百度百科】
        补充【自己的理解】：客户端发起ws/wss协议链接请求（类似于http/https协议的链接请求），当中会有一次握手（状态码为101则为成功建立）。每次建立后首先由客户端发起消息到服务器，服务器验证返回信息（互相发送信息可能不止一次，才到服务器真正的返回有用的数据。）如下图所示：
在这里插入图片描述
        上图中，绿色箭头向上是客户端（如浏览器）发送信息给服务器，红色箭头向下是服务器发送信息给客户端。可以看出前面几次信息发送相当于验证过程。

二、分析 ↶

根据参考链接中给出的例子，是一个很好地例子。这里也用这个例子尝试一下。
网站链接：莱特币中国官方网站Litecoin

  1. 网站初始界面
    在这里插入图片描述

  2. F12开发人员界面，F5刷新
    在这里插入图片描述

  3. 选择WS选项卡，找到realTime
    在这里插入图片描述
    从图中，我们找到的信息有：realTime是websocket类型，状态码为101（建立成功）

  4. 点击realTime，查看更多信息
    在这里插入图片描述
    5.

  5. 找到socket链接，可以编写程序【具体原理分析可以看参考链接的第二个】
    socket：wss://api.b

最低0.47元/天 解锁文章
小黑LLB
关注
  • 4
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python之WebSocket通信爬虫协议请求方法
云霄IT的博客
07-10 627
【代码】python之WebSocket通信爬虫协议请求方法。
Python如何爬取实时变化的WebSocket数据的方法
09-19
主要介绍了Python如何爬取实时变化的WebSocket数据的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Python网络爬虫-WebSocket数据抓取
a910247的博客
04-24 2223
WebSocket是一种在单个TCP连接上进行全双工通信的网络协议。与HTTP不同，WebSocket提供了持久连接，允许服务器和客户端在同一时间内互相发送数据。这种特性使得WebSocket非常适合实时通信，如聊天应用、在线游戏等。握手过程客户端发送一个HTTP请求到服务器，请求的头部包含特定的WebSocket协议信息。服务器接收到请求后，如果支持WebSocket协议，会返回一个HTTP 101状态码，表示协议切换成功。握手成功后，TCP连接就被升级为WebSocket连接。数据帧。
Python WebSocket自动化测试：构建高效接口测试框架
最新发布
kk_lzvvkpj的博客
06-29 648
为了更高效地进行WebSocket接口的自动化测试，我们可以搭建一个专门的测试框架。本文将介绍如何使用Python构建一个高效的WebSocket接口测试框架，并重点关注以下四个方面的内容：运行测试文件封装、报告和日志的封装、数据驱动测试以及测试用例与测试数据的隔离。
Python如何爬取实时变化的WebSocket数据
weixin_34411563的博客
03-08 3239
一、前言 作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据。如下图： Web 领域中，用于实现数据'实时'更新的手段有轮询和 WebSocket 这两种。轮询指的是客户端按照一定时间间隔（如 1 秒）访问服务端接口，从而达到 '实时' 的效果，虽然看起来数据像是实时更新的，但实际上它有一定的时间间隔，并不是真正的实时更新。轮询通...
如何用python爬取数据_Python如何爬取实时变化的WebSocket数据的方法
weixin_39687359的博客
11-23 317
一、前言作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据。如下图：Web 领域中，用于实现数据'实时'更新的手段有轮询和 WebSocket 这两种。轮询指的是客户端按照一定时间间隔（如 1 秒）访问服务端接口，从而达到 '实时' 的效果，虽然看起来数据像是实时更新的，但实际上它有一定的时间间隔，并不是真正的实时更新。轮询通常采用 拉...
python之websocket数据爬取
qq_35011992的博客
06-20 2382
** python之websocket数据爬取 ** 首先我爬取的是 货币网的 https://www.zbg.com/exOtc 爬取商家的购买和出售的数据 下面是我利用websocket库进行爬取的代码 import json, time from websocket import create_connection class OTC: #number 是区分购买和出售 ...
python2-websocket-client-0.54.0-1.el7.noarch.rpm
01-01
官方离线安装包，测试可用。使用rpm -ivh [rpm完整包名] 进行安装
websocket-client：适用于Python的WebSocket客户端
02-05
websocket-client模块是Python的WebSocket客户端。 它提供对WebSockets的低级API的访问。 所有API均用于同步功能。 websocket-client仅支持 。 执照 BSD 文献资料 该项目的文档可在找到 贡献 请在查看贡献准则。 ...
关于Python的websocket-server
12-03
关于Python的websocket-server，不能接收二进制及接收性能低的 今天做一个找图的项目中，中间健是用websocket-server。发现用下来找图并不慢，我是用OpenCV找图，居然慢在通信上面，传一个5M的文件要10来秒，晕，不...
python实现websocket
03-07
python，websocket实现，供大家学习 websocket，实现tcp通信，替代轮询，commit等技术 良心推荐
用socket实现的Python爬虫
07-01
大学课程设计，python socket实现爬虫。可爬取图片，指定数量。交流学习。有正则表达式。内容合规合法。
python-websocket-client-0.56.0-3.git3c25814.el7.noarch.rpm
12-04
官方离线安装包，亲测可用
物联网开发笔记（73）- 使用Micropython开发ESP32开发板之控制带74HC595芯片的4位数码管_python 74hc595(2)
2401_84141210的博客
05-02 43
ESP32开发板 + 带74HC595芯片的4位数码管 + Thonny IDE + Win10。使用MicroPython开发ESP32，控制带74HC595芯片的4位数码管。
python websocket爬虫_python如何抓取websocket实时的数据？
weixin_39587238的博客
11-30 755
import websocketimport _threadimport timeimport ssldef on_message(ws, message):print(message)def on_error(ws, error):print(error)def on_close(ws):print("### closed ###")def on_open(ws):def run(*args):...
Python爬虫：利用aiowebsocket库抓取WebSocket数据
彭世瑜的博客
05-09 6136
基本原理 1、实现数据 实现数据轮询WebSocket拉模式 由客户端主动从服务端拉取数据推模式 由服务端主动将数据推送给客户端 aiowebsocket github：https://github.com/asyncins/aiowebsocket 2、安装： pip install aiowebsocket 实例 抓取莱特币官网实时数据 http://www.laiteb.com/ 刷新页...
Python 实现 WebSocket 通信
热门推荐
CSDN
11-17 1万+
WebSocket是一种在Web应用程序中实现双向通信的协议。与传统的HTTP请求-响应模型不同，WebSocket允许服务器主动向客户端推送数据，实现实时性和互动性。：WebSocket提供了全双工通信，允许服务器和客户端同时发送和接收数据。相比起传统的HTTP请求-响应模型，WebSocket使得服务器可以主动推送数据给客户端，而不需要客户端首先发起请求。：与HTTP请求不同，WebSocket连接是持久的，即一旦建立连接，它将保持打开状态，直到其中一方关闭连接或发生错误。
python怎么实现 websocket-client读取
05-23
使用 `websocket-client` 库可以轻松实现 WebSocket 客户端的读取操作。具体实现步骤如下： 1. 安装 `websocket-client` 库：在命令行中执行 `pip install websocket-client`。 2. 导入 `websocket` 模块：在 Python 代码中导入 `websocket` 模块。 ```python import websocket ``` 3. 创建 WebSocket 连接：使用 `websocket` 模块的 `create_connection()` 方法创建 WebSocket 连接。该方法的参数为 WebSocket 服务器的 URL。 ```python ws = websocket.create_connection("ws://localhost:8000/websocket") ``` 4. 读取 WebSocket 数据：使用 `recv()` 方法从 WebSocket 连接读取数据。该方法会阻塞程序直至有数据到达。 ```python result = ws.recv() ``` 完整的示例代码如下： ```python import websocket ws = websocket.create_connection("ws://localhost:8000/websocket") while True: result = ws.recv() print(result) ``` 在这个示例代码中，我们创建了一个 WebSocket 连接，并在一个无限循环中读取从服务器发送过来的数据，并将其打印到控制台上。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值