Java NIO框架Netty教程(十二) 并发访问测试(中)

最新推荐文章于 2024-09-05 15:57:32 发布
最新推荐文章于 2024-09-05 15:57:32 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： 工作 文章标签： java Netty

  • 写在前面：对Netty并发问题的测试和解决完全超出了我的预期，想说的东西越来越多。所以才出现这个中篇，也就是说，一定会有下篇。至于问题点的发现，OneCoder也在努力验证中。

    继续并发的问题。在Java NIO框架Netty教程(十一) 并发访问测试(上)中，我们测试的其实是一种伪并发的情景。底层实际只有一个Channel在运作，不会出现什么无响应的问题。而实际的并发不是这个意思的，独立的客户端，自然就会有独立的channel。也就是一个服务端很可能和很多的客户端建立关系，就有很多的Channel，进行了多次的绑定。下面我们来模拟一下这种场景。

     

    view source print ?
    01. /**
    02. * Netty并发，多connection，socket并发测试
    03. *
    04. * @author lihzh(OneCoder)
    05. * @alia OneCoder
    06. * @Blog http://www.coderli.com
    07. * @date 2012-8-13 下午10:47:28
    08. */
    09. public class ConcurrencyNettyMultiConnection {
    10.  
    11. public static void main(String args[]) {
    12. final ClientBootstrap bootstrap = new ClientBootstrap(
    13. new NioClientSocketChannelFactory(
    14. Executors.newCachedThreadPool(),
    15. Executors.newCachedThreadPool()));
    16. // 设置一个处理服务端消息和各种消息事件的类(Handler)
    17. bootstrap.setPipelineFactory(new ChannelPipelineFactory() {
    18. @Override
    19. public ChannelPipeline getPipeline() throws Exception {
    20. return Channels.pipeline(new ObjectEncoder(),
    21. new ObjectClientHandler()
    22. );
    23. }
    24. });
    25. for (int i = 0; i < 3; i++) {
    26. bootstrap.connect(new InetSocketAddress("127.0.0.1", 8000));
    27. }
    28. }
    29. }

    看到这段代码，你可能会疑问，这是在做什么。他是基于Java Selector直接进行的验证，Netty是在此之上封装了一层。其实OneCoder也做了Selector层的验证。

     

    view source print ?
    01. /**
    02. * Selector打开端口数量测试
    03. *
    04. * @author lihzh
    05. * @alia OneCoder
    06. * @blog http://www.coderli.com
    07. */
    08. public class ConcurrencySelectorOpen {
    09.  
    10. /**
    11. * @author lihzh
    12. * @alia OneCoder
    13. * @throws IOException
    14. * @throws InterruptedException
    15. * @date 2012-8-15 下午1:57:56
    16. */
    17. public static void main(String[] args) throws IOException, InterruptedException {
    18. for (int i = 0; i < 3; i++) {
    19. Selector selector = Selector.open();
    20. SocketChannel channel = SocketChannel.open();
    21. channel.configureBlocking(false);
    22. channel.connect(new InetSocketAddress("127.0.0.1", 8000));
    23. channel.register(selector, SelectionKey.OP_READ);
    24. }
    25. Thread.sleep(300000);
    26. }
    27. }

    同样，通过Process Explorer去观察端口占用情况，开始跟酷壳大哥的观察到的效果一样。当不启动Server端，也就是不实际跟Server端建立链接的时候，3次selector open，占用了6个端口。

     

    \
     

    当启动Server端，进行绑定的时候，占用了9个端口

     

    \
     

    其实，多的三个，就是实际绑定的8000端口。其余就是酷壳大哥说的内部Loop链接。也就是说，对于我们实际场景，一次链接需要的端口数是3个。操作系统的端口数和资源当然有有限的，也就是说当我们增大这个链接的时候，错误必然会发生了。OneCoder尝试一下3000次的场景，并没有出现错误，不过这么下去出错肯定是必然的。

    再看看服务端的情况，

     

    \
     

    这个还是直接通过Selector连接的时候的服务端的情况，除了两个内部回环端口以外，都是通过监听的8000的端口与外界通信，所以，服务端不会有端口限制的问题。不过，也可以看到，如果对链接不控制，服务端也维持大量的连接耗费系统资源！所以，良好的编码是多么的重要。

    回到我们的主题，Netty的场景。先使用跟Selector测试一样的场景，单线程，一个bootstrap，连续多次connect看看错误和端口占用的情况。代码也就是开头提供的那段代码。

    看看测试结果，

     

    \
     

    同样连接后还是占用9个端口。如果手动调用了channle.close()方法，则会释放与8000链接的端口，也就是变成6个端口占用。

    增大连续连接数到10000。www.it165.net

    首先没有报错，在每次close channel情况下，客户端端口占用情况如图（服务端情况类似）。

     

    \
     

    可见，并没有像selector那样无限的增加下去。这正是Netty中worker的巨大作用，帮我们管理这些琐碎的链接。具体分析，我们留待下章，您也可以自己研究一下。(OneCoder注：如果没关闭channel，会发现对8000端口的占用，会迅速增加。系统会很卡。)

    调整测试代码，用一个线程来模拟一个客户端的请求。

     

    view source print ?
    01. /**
    02. * Netty并发，多connection，socket并发测试
    03. *
    04. * @author lihzh(OneCoder)
    05. * @alia OneCoder
    06. * @Blog http://www.coderli.com
    07. * @date 2012-8-13 下午10:47:28
    08. */
    09. public class ConcurrencyNettyMultiConnection {
    10.  
    11. public static void main(String args[]) {
    12. final ClientBootstrap bootstrap = new ClientBootstrap(
    13. new NioClientSocketChannelFactory(
    14. Executors.newCachedThreadPool(),
    15. Executors.newCachedThreadPool()));
    16. // 设置一个处理服务端消息和各种消息事件的类(Handler)
    17. bootstrap.setPipelineFactory(new ChannelPipelineFactory() {
    18. @Override
    19. public ChannelPipeline getPipeline() throws Exception {
    20. return Channels.pipeline(new ObjectEncoder(),
    21. new ObjectClientHandler()
    22. );
    23. }
    24. });
    25. for (int i = 0; i < 1000; i++) {
    26. // 连接到本地的8000端口的服务端
    27. Thread t = new Thread(new Runnable() {
    28. @Override
    29. public void run() {
    30. bootstrap.connect(new InetSocketAddress("127.0.0.1", 8000));
    31. try {
    32. Thread.sleep(300000);
    33. } catch (InterruptedException e) {
    34. e.printStackTrace();
    35. }
    36. }
    37. });
    38. t.start();
    39. }
    40. }
    41. }

    不出所料，跟微博上问我问题的朋友出现的问题应该是一样的：

    Write: 973
    Write: 974
    八月 17, 2012 9:57:28 下午 org.jboss.netty.channel.SimpleChannelHandler
    警告: EXCEPTION, please implement one.coder.netty.chapter.eight.ObjectClientHandler.exceptionCaught() for proper handling.
    java.net.ConnectException: Connection refused: no further information

    这个问题，笔者确实尚未分析出原因，仅从端口占用情况来看，跟前面的测试用例跑出的效果基本类似。应该说明不是端口不足导致的，不过OneCoder尚不敢妄下结论。待研究后，我们下回分解吧：）您有任何想法，也可以提供给我，我来进行验证。

jackwu_2015
关注
专栏目录
【Java进阶营】Java异步NIO框架Netty实现高性能高并发
hong7888888的博客
04-30 698
1. 背景 1.1. 惊人的性能数据 最近一个圈内朋友通过私信告诉我，通过使用Netty4 + Thrift压缩二进制编解码技术，他们实现了10W TPS（1K的复杂POJO对象）的跨节点远程服务调用。相比于传统基于Java序列化+BIO（同步阻塞IO）的通信框架，性能提升了8倍多。 事实上，我对这个数据并不感到惊讶，根据我5年多的NIO编程经验，通过选择合适的NIO框架，加上高性能的压缩二进制编解码技术，精心的设计Reactor线程模型，达到上述性能指标是完全有可能的。 下面我们就一起来看下Netty是如
Java异步NIO框架Netty实现高性能高并发
mt77666的博客
06-10 1919
1. 背景1.1. 惊人的性能数据最近一个圈内朋友通过私信告诉我，通过使用Netty4 + Thrift压缩二进制编解码技术，他们实现了10W TPS（1K的复杂POJO对象）的跨节点远程服务调用。相比于传统基于Java序列化+BIO（同步阻塞IO）的通信框架，性能提升了8倍多。事实上，我对这个数据并不感到惊讶，根据我5年多的NIO编程经验，通过选择合适的NIO框架，加上高性能的压缩二进制编解码技术，精心的设计Reactor线程模型，达到上述性能指标是完全有可能的。下面我们就一起来看下Netty是如何支持1
Netty性能测试
11-12
从测试结果看，Netty性能是非常高的，在所有使用默认配置的情况下，单台服务器能够达到4万次请求解析，作为RPC框架是足够用的。
Java NIO框架Netty教程(十二)-并发访问测试(中)
guomei的专栏
03-27 1040
写在前面：对Netty并发问题的测试和解决完全超出了我的预期，想说的东西越来越多。所以才出现这个中篇，也就是说，一定会有下篇。至于问题点的发现，OneCoder也在努力验证中。 继续并发的问题。在《Java NIO框架Netty教程(十一)-并发访问测试(上)》中，我们测试的其实是一种伪并发的情景。底层实际只有一个Channel在运作，不会出现什么无响应的问题。而实际的并发不是这个意思的，独
深入解析 Netty 的线程模型
最新发布
2401_84664550的博客
09-05 1124
Netty 的线程模型通过巧妙地结合和优化传统的线程处理方式，提供了一种高效、灵活且可扩展的解决方案，适用于各种高并发的网络应用场景。理解和选择合适的线程模型对于构建高性能的网络应用至关重要。我是马丁，一名专注于网络编程技术的开发者，经常在 CSDN 平台分享技术心得。希望本文能对您有所帮助，欢迎大家三连加关注，一起交流探讨更多技术话题！
Java NIO框架Netty教程(十三) 并发访问测试(下)
jackwu_2015的博客
07-01 1957
在上节(《Java NIO框架Netty教程(十二) 并发访问测试(中) 》)，我们从各个角度对Netty并发的场景进行了测试。这节，我们将重点关注上节最后提到的问题。在多线程并发访问的情况下，会出现   警告: EXCEPTION, please implement one.coder.netty.chapter.eight.ObjectClientHandler.exceptionCa
java测试netty_Java NIO框架Netty教程(十二) 并发访问测试(中)
weixin_27379781的博客
02-25 244
写在前面：对Netty并发问题的测试和解决完全超出了我的预期，想说的东西越来越多。所以才出现这个中篇，也就是说，一定会有下篇。至于问题点的发现，OneCoder也在努力验证中。继续并发的问题。在Java NIO框架Netty教程(十一) 并发访问测试(上)中，我们测试的其实是一种伪并发的情景。底层实际只有一个Channel在运作，不会出现什么无响应的问题。而实际的并发不是这个意思的，独立的客户端，...
java网络编程之Netty实战心跳检测（八）
hfbin的博客
11-27 5302
java网络编程之Netty实战心跳检测（八）
Java_NIO框架Netty教程.pdf
04-11
Netty是一个高性能的NIO（New I/O，即非阻塞IO）框架，用于简化网络编程，尤其是在需要高吞吐量和低延迟通信的分布式应用中。Netty被广泛应用于大型网站的后台系统中，例如在线游戏和互联网金融等领域，以及一些需要...
Java NIO框架Netty入门教程：HelloNetty
"Java NIO框架Netty教程" 在Java编程中，Netty是一个非常流行的、高性能的网络应用框架，它基于Java NIO（非阻塞I/O）设计，广泛用于构建高并发、低延迟的网络服务。Netty简化了网络编程的复杂性，提供了丰富的API...
DotNetty写的socket并发测试程序
09-11
因为公司在用java和.net的Netty开发云盘，发现java服务端写得有问题，老断线或返不回数据，所以才写这个测试程序来证明DotNetty的客户端可以实现10W以上的并发，本源代码有提供server和client。代码容易看懂。
TestNettyProjects：Netty并发测试
02-18
使用app> test> java> com> dragon> test> netty> ExampleUnitTest.addNettyTest（）进行测试
基于netty_4.0.26的心跳检测
03-11
基于netty的心跳检测技术，测试过可以在java端和android上使用
JMeter 之TCP服务器并发压力测试
07-21
JMeter 之TCP服务器并发压力测试，图文详细介绍，傻瓜式操作。
Netty高性能大容量Socket并发（一）：Netty性能测试
热门推荐
SQLDebug_Fan的专栏
11-12 5万+
从测试结果看，Netty性能是非常高的，在所有使用默认配置的情况下，单台服务器能够达到4万次请求解析，作为RPC框架是足够用的。还有一个有趣的现象是每次都创建连接和重用连接的差别不大，性能损耗对应用层几乎没影响，但是大家如果在应用环境中使用每次新建的情况，一定要进行压测，确认没影响后再使用。
netty创建聊天室服务端及单机并发测试结果
一个真实、有温度的无名小卒
10-09 1546
前言 netty应该是Java网络通信开发的杀手级框架，它提供异步，事件驱动的网络应用程序框架和工具。 至于netty的概念和优点很多，在此我就不献丑了，我纯粹实在官方文档的小例子基础上做一些测试以印证自己心中的想法。 首先搭建一个netty服务端，新建一个maven项目，引入依赖： &amp;amp;amp;amp;lt;dependency&amp;amp;amp;amp;gt; &amp;amp;amp;amp;lt;groupId&
java测试netty_《Netty官方文档》基准测试
weixin_30000407的博客
02-25 318
原文链接 译者：lijunshuNetty有一个模块叫’netty-microbench’，我们可以用他来执行一系列的微型基准测试。Netty-microbench是基于OpenJDK JMH构件的(HotSpot的推荐基准测试方案)。当你开始netty基准测试时，你不需要额外的依赖。运行基准测试你可以通过maven 命令行或者直接从IDE开始你的基准测试，如果以默认设置开始跑测试，你可以使用命...
Java NIO框架Netty教程(十一) 并发访问测试(上)
jackwu_2015的博客
07-01 1997
之前更新了几篇关于JVM研究的文章，其实也是在做本篇文章验证的时候，跑的有点远，呵呵。回归Netty教程，这次要讲的其实是针对一个问题的研究和验证结论。另外，最近工作比较忙，所以可能会分文章更新一些阶段性的成果，而不是全部汇总更新，以免间隔过久。 起因是一个朋友，通过微博(OneCoder腾讯微博、OneCoder新浪微博、OneCoder网易微博、OneCoder搜狐微博)私信给我一个问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值