netty之Netty使用Protobuf传输数据

于 2024-10-03 10:49:27 发布
阅读量454 收藏 1
点赞数 13
分类专栏： 手写Netty通信框架 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDN_LiMingfly/article/details/142689788
版权

前言


在netty数据传输过程中可以有很多选择，比如；字符串、json、xml、java对象，但为了保证传输的数据具备；良好的通用性、方便的操作性和传输的高性能，我们可以选择protobuf作为我们的数据传输格式。目前protobuf可以支持；C++、C#、Dart、Go、Java、Python等，也可以在JS里使用。知识点；ProtobufDecoder、ProtobufEncoder、ProtobufVarint32FrameDecoder、ProtobufVarint32LengthFieldPrepender。

在这里插入图片描述


public class MyChannelInitializer extends ChannelInitializer<SocketChannel> {

    @Override
    protected void initChannel(SocketChannel channel) throws Exception {
        //protobuf 处理
        channel.pipeline().addLast(new ProtobufVarint32FrameDecoder());
        channel.pipeline().addLast(new ProtobufDecoder(MsgBody.getDefaultInstance()));
        channel.pipeline().addLast(new ProtobufVarint32LengthFieldPrepender());
        channel.pipeline().addLast(new ProtobufEncoder());
        // 在管道中添加我们自己的接收数据实现方法
        channel.pipeline().addLast(new MyClientHandler());
    }
}

public class MyClientHandler extends ChannelInboundHandlerAdapter {

    /**
     * 当客户端主动链接服务端的链接后，这个通道就是活跃的了。也就是客户端与服务端建立了通信通道并且可以传输数据
     */
    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        SocketChannel channel = (SocketChannel) ctx.channel();
        System.out.println("链接报告开始");
        System.out.println("链接报告信息：本客户端链接到服务端。channelId：" + channel.id());
        System.out.println("链接报告IP:" + channel.localAddress().getHostString());
        System.out.println("链接报告Port:" + channel.localAddress().getPort());
        System.out.println("链接报告完毕");
        //通知客户端链接建立成功
        String str = "通知服务端链接建立成功" + " " + new Date() + " " + channel.localAddress().getHostString();
        ctx.writeAndFlush(MsgUtil.buildMsg(channel.id().toString(), str));
    }

    /**
     * 当客户端主动断开服务端的链接后，这个通道就是不活跃的。也就是说客户端与服务端的关闭了通信通道并且不可以传输数据
     */
    @Override
    public void channelInactive(ChannelHandlerContext ctx) throws Exception {
        System.out.println("断开链接" + ctx.channel().localAddress().toString());
    }

    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        //接收msg消息{与上一章节相比，此处已经不需要自己进行解码}
        System.out.println(new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date()) + " 接收到消息类型：" + msg.getClass());
        System.out.println(new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date()) + " 接收到消息内容：" + JsonFormat.printToString((MsgBody) msg));
    }

    /**
     * 抓住异常，当发生异常的时候，可以做一些相应的处理，比如打印日志、关闭链接
     */
    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        ctx.close();
        System.out.println("异常信息：\r\n" + cause.getMessage());
    }

}


public class NettyClient {

    public static void main(String[] args) {
        new NettyClient().connect("127.0.0.1", 7397);
    }

    private void connect(String inetHost, int inetPort) {
        EventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            Bootstrap b = new Bootstrap();
            b.group(workerGroup);
            b.channel(NioSocketChannel.class);
            b.option(ChannelOption.AUTO_READ, true);
            b.handler(new MyChannelInitializer());
            ChannelFuture f = b.connect(inetHost, inetPort).sync();
            System.out.println(" client start done. {关注明哥，获取源码}");

            f.channel().writeAndFlush(MsgUtil.buildMsg(f.channel().id().toString(),"你好，使用protobuf通信格式的服务端，我是明哥，关注我获取案例源码。"));
            f.channel().writeAndFlush(MsgUtil.buildMsg(f.channel().id().toString(),"你好，使用protobuf通信格式的服务端，我是明哥，关注我获取案例源码。"));
            f.channel().writeAndFlush(MsgUtil.buildMsg(f.channel().id().toString(),"你好，使用protobuf通信格式的服务端，我是明哥，关注我获取案例源码。"));
            f.channel().writeAndFlush(MsgUtil.buildMsg(f.channel().id().toString(),"你好，使用protobuf通信格式的服务端，我是明哥关注我获取案例源码。"));
            f.channel().writeAndFlush(MsgUtil.buildMsg(f.channel().id().toString(),"你好，使用protobuf通信格式的服务端，我是明哥，关注我获取案例源码。"));

            f.channel().closeFuture().sync();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            workerGroup.shutdownGracefully();
        }
    }

}


public class MyChannelInitializer extends ChannelInitializer<SocketChannel> {

    @Override
    protected void initChannel(SocketChannel channel) {
        //protobuf 处理
        channel.pipeline().addLast(new ProtobufVarint32FrameDecoder());
        channel.pipeline().addLast(new ProtobufDecoder(MsgBody.getDefaultInstance()));
        channel.pipeline().addLast(new ProtobufVarint32LengthFieldPrepender());
        channel.pipeline().addLast(new ProtobufEncoder());
        // 在管道中添加我们自己的接收数据实现方法
        channel.pipeline().addLast(new MyServerHandler());
    }

}


public class MyServerHandler extends ChannelInboundHandlerAdapter {

    /**
     * 当客户端主动链接服务端的链接后，这个通道就是活跃的了。也就是客户端与服务端建立了通信通道并且可以传输数据
     */
    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        SocketChannel channel = (SocketChannel) ctx.channel();
        System.out.println("链接报告开始");
        System.out.println("链接报告信息：有一客户端链接到本服务端。channelId：" + channel.id());
        System.out.println("链接报告IP:" + channel.localAddress().getHostString());
        System.out.println("链接报告Port:" + channel.localAddress().getPort());
        System.out.println("链接报告完毕");
        //通知客户端链接建立成功
        String str = "通知客户端链接建立成功" + " " + new Date() + " " + channel.localAddress().getHostString() + "\r\n";
        ctx.writeAndFlush(MsgUtil.buildMsg(channel.id().toString(), str));
    }

    /**
     * 当客户端主动断开服务端的链接后，这个通道就是不活跃的。也就是说客户端与服务端的关闭了通信通道并且不可以传输数据
     */
    @Override
    public void channelInactive(ChannelHandlerContext ctx) throws Exception {
        System.out.println("客户端断开链接" + ctx.channel().localAddress().toString());
    }

    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        //接收msg消息{与上一章节相比，此处已经不需要自己进行解码}
        System.out.println(new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date()) + " 接收到消息类型：" + msg.getClass());
        System.out.println(new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date()) + " 接收到消息内容：" + JsonFormat.printToString((MsgBody) msg));
    }

    /**
     * 抓住异常，当发生异常的时候，可以做一些相应的处理，比如打印日志、关闭链接
     */
    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        ctx.close();
        System.out.println("异常信息：\r\n" + cause.getMessage());
    }

}


public class NettyServer {

    public static void main(String[] args) {
        new NettyServer().bing(7397);
    }

    private void bing(int port) {
        //配置服务端NIO线程组
        EventLoopGroup parentGroup = new NioEventLoopGroup(); //NioEventLoopGroup extends MultithreadEventLoopGroup Math.max(1, SystemPropertyUtil.getInt("io.netty.eventLoopThreads", NettyRuntime.availableProcessors() * 2));
        EventLoopGroup childGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap b = new ServerBootstrap();
            b.group(parentGroup, childGroup)
                    .channel(NioServerSocketChannel.class)    //非阻塞模式
                    .option(ChannelOption.SO_BACKLOG, 128)
                    .childHandler(new MyChannelInitializer());
            ChannelFuture f = b.bind(port).sync();
            System.out.println("server start done. {关注我是明哥，获取源码}");
            f.channel().closeFuture().sync();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            childGroup.shutdownGracefully();
            parentGroup.shutdownGracefully();
        }

    }

}



public class MsgUtil {

    /**
     * 构建protobuf消息体
     */
    public static MsgBody buildMsg(String channelId, String msgInfo) {
        MsgBody.Builder msg = MsgBody.newBuilder();
        msg.setChannelId(channelId);
        msg.setMsgInfo(msgInfo);
        return msg.build();
    }

}

测试结果
操作：idea选中E:\itstack\GIT\itstack.org\itstack-demo-netty\itstack-demo-netty-2-02\protoc-3.5.0-win32\bin 命令：protoc -I=源地址 --java_out=目标地址 源地址/xxx.proto

E:demo-netty\itstack-demo-netty-2-02\protoc-3.5.0-win32\bin>protoc.exe -I=demo-netty\itstack-demo-netty-2-02\src\main\java\org\itstack\demo\netty\proto --java_out=demo-netty\netty-2-02\src\main
\java MsgInfo.proto

启动NettyServer
在这里插入图片描述

启动NettyClient
在这里插入图片描述
服务端执行结果
在这里插入图片描述
客户端执行结果
在这里插入图片描述
好了到这里就结束netty之Netty使用Protobuf传输数据的学习，大家一定要跟着动手操作起来。需要的源码的 可si我获取；

码农~明哥
关注
专栏目录
java实现基于netty 的udp字节数据接收服务
08-14
java实现基于netty 的utp字节数据接收服务，服务具体实现代码。样例java实现基于netty 的utp字节数据接收服务，服务具体实现代码。样例
在netty项目中使用protobuf编解码(二)：netty项目中使用protobuf编解码
rain_zhao_0102的博客
03-08 488
一、配置protobuf环境支持 idea安装protobuf插件 preference -> plugins ->搜索protobuf support安装 环境安装protoc编译工具 1.下载protoc： https://github.com/protocolbuffers/protobuf/releases 2.选择合适操作系统的zip包，解压后protoc就是可执行程序。...
Netty Protobuf
hn_lzh2014的博客
03-24 603
RPC[远程过程调用 remote procedure call]支持目前绝大多数语言。， 然后配置环境变量。
Netty 基本学习（四）Protobuf的基本使用
长安不及十里的博客
05-05 4571
协议缓冲区是 Google 的语言中立、平台中立、可扩展的 序列化结构化数据的机制 – 想想 XML，但更小、更快、 简单。您只需定义一次数据的结构，然后就可以 使用特殊生成的源代码轻松编写和读取结构化数据 往返各种数据流并使用多种语言。假设您要定义搜索 请求消息格式，其中每个搜索请求都有一个查询字符串， 您感兴趣的特定结果页面，以及每个结果的数量 页。下面是用于定义消息类型的文件.proto文件的第一行指定你使用的是语法。这 应该是文件的第一个非空、非注释行。proto2。
netty系列之:在netty中使用protobuf协议
热门推荐
程序那些事
08-25 1万+
netty中有很多适配不同协议的编码工具，对于流行的google出品的protobuf也不例外。netty为其提供了ProtobufDecoder和ProtobufEncoder两个工具还有对应的frame detection，接下来我们会通过一个例子来详细讲解如何在netty中使用protobuf。
netty借助protobuf发送数据
zjg
10-06 829
netty借助protobuf传输数据。protobuf是google开源的请求和响应格式，有自己独特的编解码方式；protobuf相较于xml格式来说体积更小、速度更快；并且支持跨语言。 2.编写proto文件 idea可以安装插件,有提示和校验 student.proto： 3.编译proto文件 protoc-21.7-win64.zip 总结 。
springboot集成netty，使用protobuf作为数据交换格式，可以用于智能终端云端服务脚手架
04-08
本项目“springboot-netty-protobuf-master”旨在提供一个基础架构，它利用了Spring Boot的便捷性以及Netty的高效网络通信能力，同时采用Google的Protocol Buffers（protobuf）作为数据交换格式，确保数据传输的高效...
采用netty与protobuf进行文件传输
07-15
本话题聚焦于使用Netty和Protocol Buffers（Protobuf）来实现文件传输，这是一种现代且高性能的技术组合，尤其适用于大规模分布式系统。 Netty是一个开源的异步事件驱动的网络应用程序框架，用于快速开发可维护的高...
springboot集成netty，使用protobuf作为数据传输格式，包含心跳检测、断开重连等功能..zip
01-04
在本文中，我们将深入探讨如何将Spring Boot与Netty结合，并使用Protocol Buffers（protobuf）作为数据传输格式，实现心跳检测、断开重连、数据上传以及主动推送等功能。这是一套综合性的技术栈，旨在构建高效、稳定...
基于netty与protobuf的Android手机视频实时传输
07-15
本项目通过结合Netty的高性能网络通信能力和Protobuf的高效数据序列化，实现了Android手机视频的实时传输。这种方式不仅可以确保视频数据的稳定传输，还可以优化带宽利用率，降低延迟，从而提供流畅的用户体验。对于...
netty案例，netty4.1中级拓展篇二《Netty使用Protobuf传输数据》源码
10-11
netty案例，netty4.1中级拓展篇二《Netty使用Protobuf传输数据》源码 https://mp.weixin.qq.com/s?__biz=MzIxMDAwMDAxMw==&mid=2650724807&idx=1&sn=e0d27e61423a8cf0ed7bc0b9663d1ff7&scene=19#wechat_redirect
Netty编解码方案之Protobuf介绍，Java工作经验6年
m0_55030688的博客
03-29 780
这些面试题是我朋友进阿里前狂刷七遍以上的面试资料，由于面试文档很多，内容更多，没有办法一一为大家展示出来，所以只好为大家节选出来了一部分供大家参考。面试的本质不是考试，而是告诉面试官你会做什么，所以，这些面试资料中提到的技术也是要学会的，不然稍微改动一下你就凉凉了。
Netty学习——实战篇6 ProtoBuf实战-单类型数据
geminigoth的博客
04-22 989
编程程序，使用ProtoBuf完成如下功能1、客户端发送一个Student POJO对象到服务器(通过ProtoBuf编码)2、服务端能接收Student POJO对象，并显示信息(通过ProtoBuf解码)
Netty 进阶知识 编解码器、Protobuf、TCP粘包、出站入站
日常记录
01-17 1629
首先，在.proto文件中定义您的消息格式。通过这些步骤，可以在 Netty 应用程序中集成 Protobuf，利用其高效的二进制数据序列化/反序列化能力。这对于需要处理复杂数据结构或要求高性能的网络通信应用尤其有用。Protobuf 提供了一种高效、灵活的方式来定义和处理结构化数据。在分布式系统、大数据应用和微服务架构中，Protobuf 是数据交换的理想选择，特别是在对性能和带宽使用有严格要求的场景中。TCP流式传输TCP是面向连接的、面向流的协议，它不保留消息边界。
netty编程之使用protobuf作为数据传输载体
最新发布
wang0907的博客
08-28 600
本文看下如何在netty中使用来传输数据。
一文搞懂Netty发送数据全流程 | 你想知道的细节全在这里
bin的技术小屋
04-08 5398
关于Netty如何高效地发送网络数据，你想知道的所有细节都在这里
netty基础_07.netty 编码和编码应用之protobuf
07-10 416
编写程序，使用 完成如下功能 Student.proto 编译 protoc.exe --java_out=.Student.proto 将生成的 StudentPOJO 放入到项目使用这个方式比较不友好,我们使用maven插件的方式生成的StudentPOJO代码太长就不贴在这里了 NettyServerHandler NettyClient NettyClientHandler 功能实现了,但是我们发现就适合demo案例,不适合开发使用,固定的类型一个studen 如果传递多个不同的类型
10.netty客户端与服务器使用protobuf传输报文
PacosonSWJTU的博客
09-04 1704
1）ProtoBuf定义：是 Protocol Buffer 的缩写，即协议缓冲区；它是一种开源跨平台的序列化资料结构的协议。① 语言无关、平台无关。即 ProtoBuf 支持 Java、C++、Python 等多种语言，支持多个平台；② 高效。即比 XML 更小（3 ~ 10倍）、更快（20 ~ 100倍）、更为简单；③ 扩展性、兼容性好。你可以更新数据结构，而不影响和破坏原有的旧程序；说的直接点，protobuf序列化性能 优于 java序列化；
SpringBoot与Netty集成，采用Protobuf进行数据通信
资源摘要信息:"springboot集成netty，使用protobuf作为数据传输格式，包含心跳检测、断开重连" 在当今的软件开发领域，Spring Boot 已经成为快速构建企业级应用的事实标准之一。它基于 Spring 框架，提供了一种简化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值