Java WebSocket爬虫

最新推荐文章于 2024-08-09 08:00:00 发布

eknown

最新推荐文章于 2024-08-09 08:00:00 发布

阅读量3k

点赞数

分类专栏： Java 文章标签： websocket

本文链接：https://blog.csdn.net/qq_28379809/article/details/89217665

版权

本文介绍了如何使用Java实现WebSocket爬虫，以抓取基于WebSocket的实时数据，如某直播平台的弹幕。通过创建自定义WebSocket处理器并继承WebSocket功能类，重写关键方法，实现与目标服务器的连接并收集数据。

摘要由CSDN通过智能技术生成

之前有个需求，要抓取某个网站视频的弹幕数据，坑爹的是它这个实时弹幕是基于WebSocket的。因为这个，接触到了WebSocket技术，关于WebSocket基本知识的博客请参照这一篇Java WebSocket实例。

今天来总结一下如何利用java模拟客户端，与目标服务器建立WebSocket连接，抓取对方的数据。

需要的依赖：

<dependency>
   <groupId>org.java-websocket</groupId>
   <artifactId>Java-WebSocket</artifactId>
   <version>1.3.5</version>
</dependency>

思路：主要就是继承WebSocketClient这个类，重写其中的onOpen、onMessage、onClose方法，通过onMessage方法，将数据保存至某个数据结构中。

WebSocket功能类

import org.java_websocket.WebSocket;
import org.java_websocket.client.WebSocketClient;
import org.java_websocket.handshake.ServerHandshake;

import java.net.URI;
import java.net.URISyntaxException;
import java.util.Iterator;

public class MyWebSocketClient extends WebSocketClient{
   

  private WebSocketExecutor executor; // 用于保存获取的数据、判定是否需要关闭连接的功能类

  public MyWebSocketClient(String url,WebSocketExecutor executor) throws URISyntaxException {
   
    super(new URI(url));
    this.executor = executor;
  }

  @Override
  public void onOpen(ServerHandshake shake) {
   
    System.out.println("握手...");
    for(Iterator<String> it=shake.iterateHttpFields();it.hasNext();) {
   
      String key = it.next();
      System.out.println(key+":"+shake.getFieldValue(key));
    }
  }

  @Override
  public void onMessage(String paramString) {
   
    System.out.println("接收到消息：" + paramString);
    executor.doMessage(paramString);
    if(executor.needClose(paramString)){
   
      this.close();
      executor.setClose(true);
    }
  }

  @Override
  public void onClose(