关闭

为什么选择Netty作为基础通信框架?

6899人阅读 评论(0) 收藏 举报
分类:

在开始之前,我先讲一个亲身经历的故事:曾经有两个项目组同时用到了NIO编程技术,一个项目组选择自己开发NIO服务端,直接使用JDK原生的API,结果两个多月过去了,他们的NIO服务端始终无法稳定,问题频出。由于NIO通信是它们的核心组件之一,因此项目的进度受到了严重的影响。另一个项目组直接使用Netty作为NIO服务端,业务的定制开发工作量非常小,测试表明,功能和性能都完全达标,项目组几乎没有在NIO服务端上花费额外的时间和精力,项目进展也非常顺利。

这两个项目组的不同遭遇告诉我们:开发出高质量的NIO程序并不是一件简单的事情,除去NIO固有的复杂性和BUG不谈,作为一个NIO服务端,需要能够处理网络的闪断、客户端的重复接入、客户端的安全认证、消息的编解码、半包读写等情况,如果你没有足够的NIO编程经验积累,一个NIO框架的稳定往往需要半年甚至更长的时间。更为糟糕的是,一旦在生产环境中发生问题,往往会导致跨节点的服务调用中断,严重的可能会导致整个集群环境都不可用,需要重启服务器,这种非正常停机会带来巨大的损失。

从可维护性角度看,由于NIO采用了异步非阻塞编程模型,而且是一个I/O线程处理多条链路,它的调试和跟踪非常麻烦,特别是生产环境中的问题,我们无法进行有效的调试和跟踪,往往只能靠一些日志来辅助分析,定位难度很大。

不选择Java原生NIO编程的原因

现在我们总结一下为什么不建议开发者直接使用JDKNIO类库进行开发,具体原因如下。

1NIO的类库和API繁杂,使用麻烦,你需要熟练掌握SelectorServerSocketChannelSocketChannelByteBuffer等。

2)需要具备其他的额外技能做铺垫,例如熟悉Java多线程编程。这是因为NIO编程涉及到Reactor模式,你必须对多线程和网路编程非常熟悉,才能编写出高质量的NIO程序。

3)可靠性能力补齐,工作量和难度都非常大。例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常码流的处理等问题,NIO编程的特点是功能开发相对容易,但是可靠性能力补齐的工作量和难度都非常大。

4JDK NIOBUG,例如臭名昭著的epoll bug,它会导致Selector空轮询,最终导致CPU 100%。官方声称在JDK 1.6版本的update18修复了该问题,但是直到JDK 1.7版本该问题仍旧存在,只不过该BUG发生概率降低了一些而已,它并没有得到根本性解决。该BUG以及与该BUG相关的问题单可以参见以下链接内容。

◎    http://bugs.java.com/bugdatabase/view_bug.do?bug_id=6403933

◎    http://bugs.java.com/bugdatabase/view_bug.do?bug_id=2147719

异常堆栈如下。

java.lang.Thread.State: RUNNABLE

        at sun.nio.ch.EPollArrayWrapper.epollWait(Native Method)

        at sun.nio.ch.EPollArrayWrapper.poll(EPollArrayWrapper.java:210)

        at sun.nio.ch.EPollSelectorImpl.doSelect(EPollSelectorImpl.java:65)

        at sun.nio.ch.SelectorImpl.lockAndDoSelect(SelectorImpl.java:69)

        - locked <0x0000000750928190> (a sun.nio.ch.Util$2)

        - locked <0x00000007509281a8> (a java.util.Collections$ UnmodifiableSet)

        - locked <0x0000000750946098> (a sun.nio.ch.EPollSelectorImpl)

        at sun.nio.ch.SelectorImpl.select(SelectorImpl.java:80)

        at net.spy.memcached.MemcachedConnection.handleIO(Memcached Connection.java:217)

        at net.spy.memcached.MemcachedConnection.run(MemcachedConnection. java:836)

由于上述原因,在大多数场景下,不建议大家直接使用JDKNIO类库,除非你精通NIO编程或者有特殊的需求。在绝大多数的业务场景中,我们可以使用NIO框架Netty来进行NIO编程,它既可以作为客户端也可以作为服务端,同时支持UDP和异步文件传输,功能非常强大。

下个小节我们就看看为什么选择Netty作为基础通信框架。

为什么选择Netty

Netty是业界最流行的NIO框架之一,它的健壮性、功能、性能、可定制性和可扩展性在同类框架中都是首屈一指的,它已经得到成百上千的商用项目验证,例如HadoopRPC框架Avro就使用了Netty作为底层通信框架,其他还有业界主流的RPC框架,也使用Netty来构建高性能的异步通信能力。

通过对Netty的分析,我们将它的优点总结如下。

◎    API使用简单,开发门槛低;

◎    功能强大,预置了多种编解码功能,支持多种主流协议;

◎    定制能力强,可以通过ChannelHandler对通信框架进行灵活地扩展;

◎    性能高,通过与其他业界主流的NIO框架对比,Netty的综合性能最优;

◎    成熟、稳定,Netty修复了已经发现的所有JDK NIO BUG,业务开发人员不需要再为NIOBUG而烦恼;

◎    社区活跃,版本迭代周期短,发现的BUG可以被及时修复,同时,更多的新功能会加入;

◎    经历了大规模的商业应用考验,质量得到验证。Netty在互联网、大数据、网络游戏、企业应用、电信软件等众多行业已经得到了成功商用,证明它已经完全能够满足不同行业的商业应用了。

正是因为这些优点,Netty逐渐成为了Java NIO编程的首选框架。

3
3
查看评论

Netty介绍(一)————为什么使用Netty

Netty的简单介绍Netty 是一个 NIO client-server(客户端服务器)框架,使用 Netty 可以快速开发网络应用,例如服务器和客户 端协议。 Netty 提供了一种新的方式来使开发网络应用程序,这种新的方式使得它很容易使用和有很强的扩展性。 Netty 的内部实现时很复杂的,但...
  • qq_25673113
  • qq_25673113
  • 2017-01-20 15:55
  • 1387

Netty学习总结(2)——Netty的高性能架构之道

Netty是一个高性能、异步事件驱动的NIO框架,它提供了对TCP、UDP和文件传输的支持,作为一个异步NIO框架,Netty的所有IO操作都是异步非阻塞的,通过Future-Listener机制,用户可以方便的主动获取或者通过通知机制获得IO操作结果。 作为当前最流行的NIO框架,Netty在...
  • u012562943
  • u012562943
  • 2016-10-18 15:23
  • 1947

选择Netty的理由

《Netty 权威指南》—— 选择Netty的理由声明:本文是《Netty 权威指南》的样章,感谢博文视点授权并发编程网站发布样章,禁止以任何形式转载此文。在开始本节之前,我先讲一个亲身经历的故事:曾经有两个项目组同时用到了NIO编程技术,一个项目组选择自己开发NIO服务端,直接使用JDK原生的AP...
  • u010154380
  • u010154380
  • 2017-03-21 16:28
  • 263

Netty学习(一)-为什么选择Netty

前面我们简单学习了NIO。我们知道java的I/O模型一共有四种,分别是:传统的BIO,伪异步I/O,NIO和AIO。为了澄清概念和分清区别,我们还是先简单的介绍一下他们的概念,然后再去比较优劣。以及探讨我们为什么使用netty。1.概念澄清1.1 BIOBIO,即Blocking I/O。网络编程...
  • a953713428
  • a953713428
  • 2017-03-24 13:01
  • 1202

Java异步NIO框架Netty实现高性能高并发

1. 背景 1.1. 惊人的性能数据 最近一个圈内朋友通过私信告诉我,通过使用Netty4 + Thrift压缩二进制编解码技术,他们实现了10W TPS(1K的复杂POJO对象)的跨节点远程服务调用。相比于传统基于Java序列化+BIO(同步阻塞IO)的通信框架,性能提升了8倍多。 ...
  • gaowenhui2008
  • gaowenhui2008
  • 2017-02-13 09:33
  • 10156

Netty框架的学习经历初级篇---helloworld

每一个程序猿都对helloworld有一段特殊的感情! 我的学习也是从一段helloworld代码开始的。一开始下载了一个pdf版的netty权威指南,该书是以netty5.0版本讲述的,到netty.io查看,发现已经废弃该版本,还是沿用3.x与4.x,但是想来4到5应该差别不大,然后仿照书中例...
  • chuanren1991
  • chuanren1991
  • 2016-10-26 11:51
  • 1981

Netty学习:搭建一个简单的Netty服务(JAVA NIO 类库的异步通信框架)

http://wosyingjun.iteye.com/blog/2303296 Netty学习:搭建一个简单的Netty服务 Netty 是一个基于 JAVA NIO 类库的异步通信框架,它的架构特点是:异步非阻塞、基于事件驱动、高性能、高可靠性和高可定制性。换句话说,Netty是一个...
  • zzy7075
  • zzy7075
  • 2016-08-02 16:54
  • 14550

Java NIO框架Netty教程(一) – Hello Netty

先啰嗦两句,如果你还不知道Netty是做什么的能做什么。那可以先简单的搜索了解一下。我只能说Netty是一个NIO的框架,可以用于开发分布式的Java程序。具体能做什么,各位可以尽量发挥想象。技术,是服务于人而不是局限住人的。  如果你已经万事具备,那么我们先从一段代码开始。程序员们习惯的...
  • kobejayandy
  • kobejayandy
  • 2013-09-09 22:05
  • 245975

Netty4详解三:Netty架构设计

读完这一章,我们基本上可以了解到Netty所有重要的组件,对Netty有一个全面的认识,这对下一步深入学习Netty是十分重要的,而学完这一章,我们其实已经可以用Netty解决一些常规的问题了。 一、先纵览一下Netty,看看Netty都有哪些组件?      ...
  • suifeng3051
  • suifeng3051
  • 2014-06-06 10:52
  • 25702

使用JAVA操作netty框架

Netty简介:   Netty 是一个异步的,事件驱动的网络编程框架和工具,使用Netty 可以快速开发出可维护的,高性能、高扩展能力的协议服务及其客户端应用。 Netty原来属于JBoss开源社区,现在已经独立出来,新官网地址:http://net...
  • flymachine
  • flymachine
  • 2013-07-01 22:49
  • 1930
    个人资料
    • 访问:3921008次
    • 积分:56473
    • 等级:
    • 排名:第57名
    • 原创:1462篇
    • 转载:83篇
    • 译文:1篇
    • 评论:3786条
    博客专栏
    文章存档
    最新评论