Netty+Protostuff实现单机压测秒级接收35万个对象实践经验分享

最新推荐文章于 2024-06-18 22:45:46 发布

Java全能架构师

最新推荐文章于 2024-06-18 22:45:46 发布

阅读量850

点赞数 1

分类专栏： netty 分布式文章标签： netty zookeeper 中间件 junit java

本文链接：https://blog.csdn.net/weixin_48182198/article/details/108532109

版权

本文介绍了使用Netty和Protostuff进行RPC对象传输时遇到的挑战，包括序列化、解码器优化和粘包问题。通过自定义序列化方式、使用DelimiterBasedFrameDecoder避免粘包，以及同步发送策略，实现了单机每秒接收35万个对象的高并发性能。同时，文章探讨了从单机到集群的扩展，强调了在多客户端和多服务器环境下确保稳定性的关键点。

摘要由CSDN通过智能技术生成

单纯netty结合protostuff进行rpc对象传输的demo网上有很多，大部分都是一个模子刻出来的，一开始我也是抄了一个，本地测试畅通无阻，未发生任何异常。

部署预发环境，进行压测后，问题巨多，各种报错层出不穷。当然，压测时我用的数据量大、发送请求非常密集，单机是每秒前100ms发送2万个对象，其他900ms歇息，死循环发送，共计40台机器作为客户端，同时往2台netty Server服务器发送对象，那么平均每个server每秒大概要接收40万个对象，由于后面还有业务逻辑，逻辑每秒只能处理35万实测。

对于网上的代码，进行了多次修改，反复测试，最终是达到了不报错无异常，单机秒级接收35万个对象以上，故写篇文章记录一下，文中代码会和线上逻辑保持一致。

Protostuff序列化和反序列化

这个没什么特殊的，网上找个工具类就好了。

引入pom

<protostuff.version>1.7.2</protostuff.version>
<dependency>
    <groupId>io.protostuff</groupId>
    <artifactId>protostuff-core</artifactId>
    <version>${protostuff.version}</version>
</dependency>

<dependency>
    <groupId>io.protostuff</groupId>
    <artifactId>protostuff-runtime</artifactId>
    <version>${protostuff.version}</version>
</dependency>

public class ProtostuffUtils {
    /**
     * 避免每次序列化都重新申请Buffer空间
     * 这句话在实际生产上没有意义，耗时减少的极小，但高并发下，如果还用这个buffer，会报异常说buffer还没清空，就又被使用了
     */
//    private static LinkedBuffer buffer = LinkedBuffer.allocate(LinkedBuffer.DEFAULT_BUFFER_SIZE);
    /**
     * 缓存Schema
     */
    private static Map<Class<?>, Schema<?>> schemaCache = new ConcurrentHashMap<>();
 
    /**
     * 序列化方法，把指定对象序列化成字节数组
     *
     * @param obj
     * @param <T>
     * @return
     */
    @SuppressWarnings("unchecked")
    public sta