Dubbo中的连接控制，你真的理解吗？(1)

• Mac 下可使用：lsof -i:20880

• Linux 下可使用：netstat -ano | grep 20880

提供者：

[root ~]# netstat -ano | grep 20880

tcp6       0      0 192.168.4.224:20880      ::😗                    LISTEN      off (0.00/0/0)

tcp6    2502      0 192.168.4.224:20880      192.168.4.226:59100     ESTABLISHED off (0.00/0/0)

消费者：

[root@ ~]# netstat -ano | grep 20880

tcp6     320    720 192.168.4.226:59110     192.168.4.224:20880      ESTABLISHED on (0.00/0/0)

通过上述观察到的现象我们可以发现几个事实。

仅仅是启动了提供者和消费者，上述的 TCP 连接就已经存在了，要知道我并没有触发调用。也就是说，Dubbo 建连的默认策略是在地址发现时，而不是在调用时。当然，你也可以通过延迟加载 lazy="true" 来修改这一行为，这样可以将建联延迟到调用时。

<dubbo:reference id=“userService” check=“false”

interface=“org.apache.dubbo.benchmark.service.UserService”

url=“dubbo://$server.host:${server.port}”

lazy=“true”/>

除此之外，还可以发现消费者和提供者之间只有一条长连接，20880 是 Dubbo 提供者默认开放的端口，就跟 tomcat 默认开放的 8080 一个地位，而 59110 是消费者随机生成的一个端口。（我之前跟一些朋友交流过，发现很多人不知道消费者也是需要占用一个端口的）

而今天的主角”连接控制“便可以控制长连接的数量，例如我们可以进行如下的配置

<dubbo:reference id=“userService” check=“false”

interface=“org.apache.dubbo.benchmark.service.UserService”

url=“dubbo://192.168.4.224:20880”

connections=“2” />

再启动一次消费者，观察长连接情况

提供者：

[root@ ~]# netstat -ano | grep 20880

tcp6       0      0 192.168.4.224:20880      ::😗                    LISTEN      off (0.00/0/0)

tcp6    2508     96 192.168.4.224:20880      192.168.4.226:59436     ESTABLISHED on (0.00/0/0)

tcp6    5016    256 192.168.4.224:20880      192.168.4.226:59434     ESTABLISHED on (0.00/0/0)

消费者：

[root@ ~]# netstat -ano | grep 20880

tcp6       0   2520 192.168.4.226:59436     192.168.4.224:20880      ESTABLISHED on (0.00/0/0)

tcp6      48   1680 192.168.4.226:59434     192.168.4.224:20880      ESTABLISHED on (0.00/0/0)

可以看到，这里已经变成两条长连接了。

什么时候需要配置多条长连接

现在我们知道了如何进行连接控制，但什么时候我们应该配置多少条长连接呢？这个时候我可以跟你说，具体视生产情况而定，但你如果你经常看我的公众号，肯定会知道这不是我的风格，我的风格是什么？benchmark！

写作之前，我跟几个同事和网友对这个话题进行了简单的讨论，其实也没有什么定论，无非是对单连接和多连接吞吐量高低不同的论调。参考既往 Dubbo github 中的 issue，例如：https://github.com/apache/dubbo/pull/2457，我也参与了这个 pr 的讨论，讲道理，我是持怀疑态度的，我当时的观点是多连接不一定能够提升服务的吞吐量（还是挺保守的，没有这么绝对）。

那接下来，还是用 benchmark 来说话吧，测试工程还是我们的老朋友，使用 Dubbo 官方提供的 dubbo-benchmark 工程。

• 测试工程地址：https://github.com/apache/dubbo-benchmark.git

• 测试环境：2 台阿里云 Linux 4c8g ECS

测试工程在之前的文章介绍过，这里就不过多赘述了，测试方案也非常简单，两轮 benchmark，分别测试 connections=1 和 connections=2 时，观察测试方法的吞吐量。

说干就干，省略一堆测试步骤，直接给出测试结果。

connections=1

Benchmark           Mode  Cnt      Score      Error  Units

Client.createUser  thrpt    3  22265.286 ± 3060.319  ops/s

Client.existUser   thrpt    3  33129.331 ± 1488.404  ops/s

Client.getUser     thrpt    3  19916.133 ± 1745.249  ops/s

Client.listUser    thrpt    3   3523.905 ±  590.250  ops/s

connections=2

Benchmark           Mode  Cnt      Score      Error  Units

Client.createUser  thrpt    3  31111.698 ± 3039.052  ops/s

Client.existUser   thrpt    3  42449.230 ± 2964.239  ops/s

Client.getUser     thrpt    3  30647.173 ± 2551.448  ops/s

Client.listUser    thrpt    3   6581.876 ±  469.831  ops/s

从测试结果来看，似乎单连接和多连接的差距是非常大的，近乎可以看做是 2 倍了！看起来连接控制的效果真是好呀，那么事实真的如此吗？

按照这种方案第一次测试下来之后，我也不太相信这个结果，因为我之前按照其他方式做过多连接的测试，并且我也参加过第三届中间件挑战赛，使得我对长连接的认知是：大多数时候，单连接往往能发挥出最优的性能。即使由于硬件原因，这个差距也不应该是两倍。怀着这样的疑问，我开始研究，是不是我的测试场景出了什么问题呢？

发现测试方案的问题

经过和闪电侠的讨论，他的一席话最终让我定位到了问题的所在。

不知道大家看完我和闪电侠的对话，有没有立刻定位到问题所在。

之前测试方案最大的问题便是没有控制好变量，殊不知：在连接数变化的同时，实际使用的 IO 线程数实际也发生了变化。

Dubbo 使用 Netty 来实现长连接通信，提到长连接和 IO 线程的关系，这里就要介绍到 Netty 的连接模型了。一言以蔽之，Netty 的设置 IO worker 线程和 channel 是一对多的绑定关系，即一个 channel 在建连之后，便会完全由一个 IO 线程来负责全部的 IO 操作。再来看看 Dubbo 是如何设置 NettyClient 和 NettyServer 的 worker 线程组的：

客户端 org.apache.dubbo.remoting.transport.netty4.NettyClient：

private static final EventLoopGroup NIO_EVENT_LOOP_GROUP = eventLoopGroup(Constants.DEFAULT_IO_THREADS, “NettyClientWorker”);

@Override

protected void doOpen() throws Throwable {

final NettyClientHandler nettyClientHandler = new NettyClientHandler(getUrl(), this);

bootstrap = new Bootstrap();

bootstrap.group(NIO_EVENT_LOOP_GROUP)

.option(ChannelOption.SO_KEEPALIVE, true)

.option(ChannelOption.TCP_NODELAY, true)

.option(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT);

…

}

Constants.DEFAULT_IO_THREADS 在 org.apache.dubbo.remoting.Constants 中被写死了

int DEFAULT_IO_THREADS = Math.min(Runtime.getRuntime().availableProcessors() + 1, 32);

在我的 4c8g 的机器上，默认等于 5。

服务端 org.apache.dubbo.remoting.transport.netty4.NettyServer：

protected void doOpen() throws Throwable {

bootstrap = new ServerBootstrap();

bossGroup = NettyEventLoopFactory.eventLoopGroup(1, “NettyServerBoss”);

workerGroup = NettyEventLoopFactory.eventLoopGroup(

getUrl().getPositiveParameter(IO_THREADS_KEY, Constants.DEFAULT_IO_THREADS),

“NettyServerWorker”);

final NettyServerHandler nettyServerHandler = new NettyServerHandler(getUrl(), this);

channels = nettyServerHandler.getChannels();

ServerBootstrap serverBootstrap = bootstrap.group(bossGroup, workerGroup)

.channel(NettyEventLoopFactory.serverSocketChannelClass());

.option(ChannelOption.SO_REUSEADDR, Boolean.TRUE)

.childOption(ChannelOption.TCP_NODELAY, Boolean.TRUE)

.childOption(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT);

}

服务端倒是可以配置，例如我们可以通过 protocol 来控制服务端的 IO 线程数：

dubbo:protocol name=“dubbo” host=“${server.host}” server=“netty4” port=“${server.port}” iothreads=“5”/

如果不设置，则跟客户端逻辑一致，是 core + 1 个线程。

好了，问题就在这儿，由于我并没有进行任何 IO 线程的设置，所以客户端和服务端都会默认开启 5 个 IO 线程。当 connections=1 时，Netty 会将 channel1 绑定到一个 IO 线程上，而当 connections=2 时，Netty 会将 channel1 和 channel2 按照顺序绑定到 NettyWorkerThread-1和 NettyWorkerThread-2 上，这样就会有两个 IO 线程在工作，这样的测试结果当然是不公平的。

这里需要考虑实际情况，在实际生产中，大多数时候都是分布式场景，连接数一定都是大于 IO 线程数的，所以基本不会出现测试场景中的 channel 数少于 IO 线程数的场景。

解决方案也很简单，我们需要控制变量，让 IO 线程数一致，仅仅观察连接数对吞吐量的影响。针对服务端，可以在 protocol 层配置 iothreads=1；针对客户端，由于源码被写死了，这里我只能通过修改源码的方式，重新本地打了一个包，使得客户端 IO 线程数也可以通过 -D 参数指定。

改造之后的，我们得到了如下的测试结果：

1 IO 线程 1 连接

Benchmark           Mode  Cnt      Score      Error  Units

Client.createUser  thrpt    3  22265.286 ± 3060.319  ops/s

Client.existUser   thrpt    3  33129.331 ± 1488.404  ops/s

Client.getUser     thrpt    3  19916.133 ± 1745.249  ops/s

Client.listUser    thrpt    3   3523.905 ±  590.250  ops/s

1 IO 线程 2 连接

Benchmark           Mode  Cnt      Score      Error  Units

Client.createUser  thrpt    3  21776.436 ± 1888.845  ops/s

Client.existUser   thrpt    3  31826.320 ± 1350.434  ops/s

Client.getUser     thrpt    3  19354.470 ±  369.486  ops/s

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Java开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
**

[外链图片转存中…(img-OUKXmJk6-1715667969145)]

[外链图片转存中…(img-3NYqRIfE-1715667969146)]

[外链图片转存中…(img-VWredYnZ-1715667969147)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Java开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！