Netty，ProtoBuf，WebSocket； 如何将BinaryWebSocketFrame转换为protobuf类型？

最新推荐文章于 2024-06-14 11:26:35 发布
最新推荐文章于 2024-06-14 11:26:35 发布
阅读量3.3k 收藏 1
点赞数
分类专栏： Java学习总结
原文链接：https://stackoom.com/question/2ay0e/Netty-ProtoBuf-WebSocket-%E5%A6%82%E4%BD%95%E5%B0%86BinaryWebSocketFrame%E8%BD%AC%E6%8D%A2%E4%B8%BAprotobuf%E7%B1%BB%E5%9E%8B
版权

javascript   java   netty   protocol-buffers   protobufjs  

温馨提示：将鼠标放在语句上可以显示对应的英文。   或者   切换至中英文显示

我有一台使用protobuf的服务器。 处理程序定义为 -

public class ServerHandler extends SimpleChannelInboundHandler<MyProtoBufType> {

管道如下 -

pipeline.addLast(new ProtobufVarint32FrameDecoder());
pipeline.addLast(new ProtobufDecoder(MyProtoBufType.getDefaultInstance()));
pipeline.addLast(new ProtobufVarint32LengthFieldPrepender());
pipeline.addLast(new ProtobufEncoder());
pipeline.addLast("ServerHandler", new ServerHandler());

有了它和Java客户端一切正常。

现在，为了能够使用Javascript websocket进行连接，我修改了服务器管道，如下所示 -

pipeline.addLast(new HttpServerCodec());
pipeline.addLast(new HttpObjectAggregator(65536));
pipeline.addLast(new WebSocketServerCompressionHandler());
pipeline.addLast(new WebSocketServerProtocolHandler(WEBSOCKET_PATH, null, true));
pipeline.addLast(new MessageToMessageDecoder<WebSocketFrame>() {
    @Override
    protected void decode(ChannelHandlerContext ctx, WebSocketFrame frame, List<Object> objs) throws Exception {
        ByteBuf buf = ((BinaryWebSocketFrame) frame).content();
        objs.add(buf);
        buf.retain();
    }
});
pipeline.addLast(new ProtobufVarint32FrameDecoder());
pipeline.addLast(new ProtobufDecoder(MyProtoBufType.getDefaultInstance()));
pipeline.addLast(new ProtobufVarint32LengthFieldPrepender());
pipeline.addLast(new ProtobufEncoder());
pipeline.addLast("ServerHandler", new ServerHandler());

以下是基于protobufjs库的Javascript客户端代码 -

var ProtoBuf = dcodeIO.ProtoBuf,
    builder = ProtoBuf.loadProtoFile("./example.proto"),
    pkg = builder.build("com.example");
    socket = new WebSocket("ws://localhost:8484");

socket.binaryType = "arraybuffer"; 

socket.onopen = function() {
    var login = new pkg.Login({"userName": "hello", "password": "pass"});
    var wrapper = new pkg.MyProtoBufType();
    wrapper.set("login", login);
    socket.send(wrapper.toArrayBuffer());
};

运行上述代码时，服务器在protobuf解码器上失败。 以下是堆栈跟踪 -

WARN [nioEventLoopGroup-3-6] (DefaultChannelPipeline.java:1144) - An exceptionCaught() event was fired, and it reached at the tail of the pipeline. It usually means the last handler in the pipeline did not handle the exception.
io.netty.handler.codec.DecoderException: com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field.  This could mean either than the input has been truncated or that an embedded message misreported its own length.
    at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:98)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:349)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:335)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:327)
    at io.netty.handler.codec.ByteToMessageDecoder.fireChannelRead(ByteToMessageDecoder.java:288)
    at io.netty.handler.codec.ByteToMessageDecoder.fireChannelRead(ByteToMessageDecoder.java:275)
    at io.netty.handler.codec.ByteToMessageDecoder.callDecode(ByteToMessageDecoder.java:391)
    at io.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:243)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:349)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:335)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:327)
    at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:102)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:349)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:335)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:327)
    at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:102)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:349)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:335)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:327)
    at io.netty.channel.ChannelInboundHandlerAdapter.channelRead(ChannelInboundHandlerAdapter.java:86)
    at io.netty.handler.codec.http.websocketx.Utf8FrameValidator.channelRead(Utf8FrameValidator.java:77)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:349)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:335)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:327)
    at io.netty.handler.codec.http.websocketx.WebSocketServerProtocolHandler$1.channelRead(WebSocketServerProtocolHandler.java:159)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:349)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:335)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:327)
    at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:102)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:349)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:335)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:327)
    at io.netty.handler.codec.ByteToMessageDecoder.fireChannelRead(ByteToMessageDecoder.java:288)
    at io.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:262)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:349)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:335)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:327)
    at io.netty.handler.logging.LoggingHandler.channelRead(LoggingHandler.java:233)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:349)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:335)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:327)
    at io.netty.channel.DefaultChannelPipeline$HeadContext.channelRead(DefaultChannelPipeline.java:1336)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:349)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:335)
    at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:911)
    at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:123)
    at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:544)
    at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:485)
    at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:399)
    at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:371)
    at io.netty.util.concurrent.SingleThreadEventExecutor$5.run(SingleThreadEventExecutor.java:742)
    at io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:145)
    at java.lang.Thread.run(Unknown Source)
Caused by: com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field.  This could mean either than the input has been truncated or that an embedded message misreported its own length.
    at com.google.protobuf.InvalidProtocolBufferException.truncatedMessage(InvalidProtocolBufferException.java:70)
    at com.google.protobuf.CodedInputStream.readRawBytesSlowPath(CodedInputStream.java:1187)
    at com.google.protobuf.CodedInputStream.readBytes(CodedInputStream.java:517)
    at com.google.protobuf.UnknownFieldSet$Builder.mergeFieldFrom(UnknownFieldSet.java:501)
    at com.google.protobuf.UnknownFieldSet$Builder.mergeFrom(UnknownFieldSet.java:478)
    at com.google.protobuf.UnknownFieldSet$Builder.mergeFrom(UnknownFieldSet.java:596)
    at com.google.protobuf.UnknownFieldSet$Builder.mergeFrom(UnknownFieldSet.java:281)
    at com.google.protobuf.CodedInputStream.readGroup(CodedInputStream.java:424)
    at com.google.protobuf.UnknownFieldSet$Builder.mergeFieldFrom(UnknownFieldSet.java:505)
    at com.google.protobuf.GeneratedMessage.parseUnknownField(GeneratedMessage.java:205)
    at com.exmaple.MyProtoBufType.<init>(CallBreakProtocol.java:15290)
    at com.exmaple.MyProtoBufType.<init>(CallBreakProtocol.java:15273)
    at com.exmaple.MyProtoBufType$1.parsePartialFrom(CallBreakProtocol.java:15638)
    at com.exmaple.MyProtoBufType$1.parsePartialFrom(CallBreakProtocol.java:1)
    at com.google.protobuf.AbstractParser.parsePartialFrom(AbstractParser.java:137)
    at com.google.protobuf.AbstractParser.parseFrom(AbstractParser.java:168)
    at com.google.protobuf.AbstractParser.parseFrom(AbstractParser.java:174)
    at com.google.protobuf.AbstractParser.parseFrom(AbstractParser.java:49)
    at io.netty.handler.codec.protobuf.ProtobufDecoder.decode(ProtobufDecoder.java:121)
    at io.netty.handler.codec.protobuf.ProtobufDecoder.decode(ProtobufDecoder.java:64)
    at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:88)
    ... 52 more

有没有人一起使用Netty，ProtoBuf和WebSocket？ 怎么能实现这一目标？

javascript java netty protocol-buffers protobufjs

1 个回复

按投票数排序按时间排序

 

===============>>#1 票数：0 已采纳

我只需删除以下内容 -

pipeline.addLast(new ProtobufVarint32FrameDecoder());

现在工作正常。

追逐续
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Websocket Netty protobuf协作使用
saihun的博客
02-28 8896
一.简单说明（这里不详细讲）： Netty：Netty是业界最流行的NIO框架之一，它的健壮性、性能、可指定性和可扩展性在同类框架中首屈一指，也已经得到成百上千商用项目验证。 Protobuf:Google的protobuf在业界非常流行，是一个灵活、高效、结构化的数据序列化框架，相比于XML等传统的序列化工具，protobuf更小、更快、更简单、向前兼容、结构化一次到处使用，并且可以跨平台。
netty+protobuf+websocket实现在线聊天
zsj777的专栏
04-21 442
定义proto结构 im.proto syntax ="proto3"; //optimize_for 加快解析的速度 option optimize_for = SPEED; option java_package = "sample.cluster.nettyim"; option java_outer_classname="MessageData"; option java_multiple_files = true; // 客户端发送过来的消息实体 message RequestU
SpringBoot实现Netty使用Protobuf协议完成Websocket通信
yangjiaaiLM的博客
03-25 1266
非常详细介绍如何在SpringBoot环境下使用Netty实现Websocket，并引入protobuf数据协议
Netty中的ByteBuf、TextWebSocketFrame和BinaryWebSocketFrame
最新发布
u012903034的博客
06-14 426
Netty是一个基于Java的高性能网络应用框架，广泛用于构建协议服务器和客户端。Netty提供了一套强大的工具来处理网络数据，其中ByteBuf和是三个常用的组件。本文将详细介绍它们，并给出示例代码说明其使用场景。
JS protobuf对Netty BinaryWebSocketFrame对象进行解码
qq944484545的博客
02-08 3325
在使用Websocket protobuf协议传输时，onmessage收到这样的对象，一脸懵逼解码成protobuf对象如下： let reader = new FileReader(); reader.readAsArrayBuffer(data); reader.onload = () => { const buf = new Uint8Array(re...
netty+protobuf+websocket实现在线聊天--简易实现
jcy7523的专栏
09-18 1535
定义proto结构 Message.proto内容如下： syntax = "proto3"; package com.test.bf.nio.netty.webChat.websocket; option java_outer_classname="MessageProto"; message Model { string version = 1;//接口版本号 ...
netty学习文件，实现http，websocket，protobuf
01-10
在本文中，我们将深入探讨Netty如何实现HTTP、WebSocket和Protobuf这三种通信方式，以及它们在服务器与客户端通信中的应用。 ### Netty与HTTP HTTP（超文本传输协议）是互联网上应用最广泛的一种网络协议，用于从...
Unity与Netty进行ProtoBuf通信__
09-04
为了实现高效的数据通信，开发者常常会结合其他技术，如Netty和ProtoBuf。本篇文章将深入探讨如何在Unity中利用ProtoBuf-net与Netty进行通信。 ProtoBuf（Protocol Buffers）是Google提出的一种数据序列化协议，它...
netty+protobuf开发一个聊天室实例
06-18
在本文中，我们将深入探讨如何使用Netty和Protobuf来开发一个实时聊天室实例。Netty是一个高性能、异步事件驱动的网络应用框架，适用于Java平台，它简化了TCP、UDP和HTTP等协议的服务器和客户端应用开发。而Protobuf...
netty+websocket通讯例子
12-16
在本文中，我们将深入探讨如何利用 Netty 和 WebSocket 技术实现通信，以及 `callServer` 文件可能包含的内容。 WebSocket 是一种在单个 TCP 连接上进行全双工通信的协议，它为 Web 应用程序提供了低延迟、双向通信...
him-vue：开源的H5即时聊天系统spring-boot + netty + protobuf + vue〜
02-05
前端：vue，服务端netty 踩坑指南 iOS版本手机QQ中清空不了Cookie的bug（Android版本的QQ没试），其他浏览器均正常 手机微信中打开后点击输入文字后，不管点不点击发送按钮都会出现短暂的不能点击的现象（任何按钮都...
netty 基于 protobuf 协议 实现 websocket 版本的简易客服系统
思月行云
08-14 998
https://segmentfault.com/a/1190000017464313 netty 基于 protobuf 协议 实现 websocket 版本的简易客服系统 结构 netty 作为服务端 protobuf 作为序列化数据的协议 websocket 前端通讯 演示 GitHub 地址 netty 服务端实现 Server.java启动类 import io.netty.bootstrap.ServerBootstrap; import io.netty.chan.
新写法之服务端(java netty)基于prtobuf多协议websocket信息处理 (非官方写法)
黑ｌ①√Σ月
07-04 364
刚接触netty,就被他深深吸引.经过4天的不断学习和研究,终于被我跑通了,以下我就分享给大家! 首先我吐槽以下他官方对protobuf多协议那种堪比shit的支持,导致我4天3天都在坑里摸爬滚打! 以下是我自创的,支持多协议,又不失优雅的写法,目前网上找不到的! 不多说,走你 首先是服务端的启动: package com.zhcj.netty; import java.util.concurrent.TimeUnit; import javax.annotation.PostConstruc
【netty】netty的websocketframe
weixin_30568591的博客
06-05 1011
1，websocket连接建立流程 备注：1,2负责建立http连接； 3,4负责升级http连接至websocket连接，此时不依赖http连接，依赖于tcp连接通信，http连接还在（除非刷新或重新请求） 2，websocketframe详解 名称 解释 BinaryWebSocketFrame 二进制数据 ...
Spring Boot + Netty+WebSocket+Protobuf 集成通讯配置
Mirson - 多一些分享, 多一些进步
12-06 4310
目的 现在微服务普遍流行，在对外连接上， Netty+Protobuf 通讯性能要优于 Http+Json方式，适合大数据高并发， 长连接异步通讯场景， 本教程主要讲解Spring Boot + Netty集成， 以及Netty+WebSocket+Protobuf的通讯配置。 脉络 Spring Boot 2.X + Netty集成配置 Spring Boot 2.X + Netty通讯测试...
Netty（3）心跳检测、WebSocket、Protobuf
codezhuyc的博客
04-02 2189
一 心跳检测 当连接数很大时，我们想要释放部分空闲连接；或者连接已经断了但服务端没检测到。我们都可以使用Netty自动的心跳检测类IdleStateHandler来实现 1.1 类介绍 IdleStateHandler 是netty 提供的处理空闲状态的处理器.我们一般直接在ChannelInitializer中配置即可。该类会当channel一段时间没有执行读或写或读写时，触发一个IdleSta...
基于 protobuf 浏览器通过 websocket 与 netty 服务端通信
我是个农民的博客
05-05 1102
基于 protobuf 浏览器通过 websocket 与 netty 服务端通信 项目地址 前端 前端采用 protobuf.js protobuf.js 项目地址 的方式，可以免去手动根据proto文件生成js代码 目录截图，三个文件就够了，中间的文件是从下载的 protobuf.js 的Source code中拷贝出来的 proto 文件: syntax = "proto3"; package protoMsg; message Msg { string time .
netty4.1 protobuf websocket编码器
09-13
对于使用Netty 4.1和Protobuf的WebSocket编码器，你可以按照以下步骤进行设置： 1. 首先，确保你已经添加了Netty和Protobuf的依赖到你的项目中。 2. 创建一个WebSocket编码器类，该类将负责将Protobuf消息编码为WebSocket帧。下面是一个示例代码： ```java import io.netty.buffer.ByteBuf; import io.netty.channel.ChannelHandlerContext; import io.netty.handler.codec.MessageToByteEncoder; public class ProtobufWebSocketEncoder extends MessageToByteEncoder<MessageLite> { @Override protected void encode(ChannelHandlerContext ctx, MessageLite msg, ByteBuf out) throws Exception { byte[] bytes = msg.toByteArray(); out.writeBytes(bytes); } } ``` 3. 在你的Netty初始化代码中，添加WebSocket编码器到你的ChannelPipeline中。下面是一个示例代码： ```java import io.netty.channel.ChannelInitializer; import io.netty.channel.socket.SocketChannel; import io.netty.handler.codec.http.HttpObjectAggregator; import io.netty.handler.codec.http.HttpServerCodec; import io.netty.handler.codec.http.websocketx.WebSocketServerProtocolHandler; public class WebSocketServerInitializer extends ChannelInitializer<SocketChannel> { @Override protected void initChannel(SocketChannel ch) throws Exception { ch.pipeline() .addLast(new HttpServerCodec()) .addLast(new HttpObjectAggregator(65536)) .addLast(new WebSocketServerProtocolHandler("/websocket")) .addLast(new ProtobufWebSocketEncoder()) .addLast(new YourCustomWebSocketHandler()); } } ``` 在上面的代码中，`YourCustomWebSocketHandler`是你自己实现的处理WebSocket消息的处理器。 4. 最后，在你的Netty服务器启动代码中，绑定正确的端口并启动服务器。下面是一个示例代码： ```java import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.ChannelFuture; import io.netty.channel.EventLoopGroup; import io.netty.channel.nio.NioEventLoopGroup; import io.netty.channel.socket.nio.NioServerSocketChannel; public class WebSocketServer { public static void main(String[] args) throws InterruptedException { EventLoopGroup bossGroup = new NioEventLoopGroup(); EventLoopGroup workerGroup = new NioEventLoopGroup(); try { ServerBootstrap b = new ServerBootstrap(); b.group(bossGroup, workerGroup) .channel(NioServerSocketChannel.class) .childHandler(new WebSocketServerInitializer()); ChannelFuture f = b.bind(8080).sync(); f.channel().closeFuture().sync(); } finally { bossGroup.shutdownGracefully(); workerGroup.shutdownGracefully(); } } } ``` 确保将端口号8080更改为你实际使用的端口号。 以上就是使用Netty 4.1和Protobuf的WebSocket编码器的基本设置。请根据你的实际需求进行适当的修改和扩展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值