网络分流器｜基于复合存储的100Gbps DPI技术

网络分流器｜基于复合存储的100Gbps DPI技术

      1.   网络分流器｜背景与需求\戎腾网络分流器

      ---当前，随着防火墙、入侵检测系统、高速网络管控、CDN、运营商信令分析、垃圾邮件分类等领域的发展，对高速链路进行深度报文检测（Deep Packet Inspection，简称DPI）和分类的要求越来越高。一方面是带宽越来越高，另一方面是检测特征越来越复杂，特征种类越来越多，这为DPI技术的发展提出了非常高的要求。

深度报文检测是使用预定义的一系列规则在流级上对报文载荷（而非仅仅是报文头）进行匹配，并根据匹配的结果决定对报文所采用的动作的一个过程。

2.复合存储技术｜网络分流器

当前在DPI领域，主要采用两种特种模式，分别是关键字和正则表达式，由于高性能的正则表达式匹配技术尚未达到实用，目前广泛使用的仍然是关键字（商用的正则表达式匹配技术尚未超过10Gbps），甚至大部分的DPI系统仍无法完成10Gbps以上链路的全报文关键字匹配，而只能对报文首部的部分字节（如报文载荷的前32字节或者64字节）执行深度检测，性能问题依然是DPI面临的首要挑战。为了提高DPI的处理能力，产业界和学术界普通采用的是以下三种技术：

依靠更高性能的服务器或服务器集群来加速DPI吞吐量，由于在报文流上执行多机器或多核的负载均衡非常方便，这种方法很容易达到很高的处理性能，缺点是代价比较大。

依靠更好的软件算法来提高匹配性能，目前研究界普通采用以AC算法作为基础来优化性能，主要有WU-MANBER、SBOM、一次多字节（俗称多步）、BloomFilter等方法，但是DPI过程要求的前后状态转移是关联的，即下一次访问的地址与上一次访问的状态和当前报文字节的内容紧密相关，受限于存储器本身（主要是DDR）的性能，软件优化的空间非常有限。

依靠各种多核NPU自带的匹配引擎来加速，目前国外两大多核NPU巨头Broadcom和Cavium都有在其NPU上内置了DPI加速引擎，如Cavium内置的HFA引擎宣称其单个NPU可以达到24Gbps的处理能力，但是实测性能与宣称性能之间相差巨大。尤其是配置正则表达式规则时，带通配符的规则会对其性能造成十分显著的影响。

DPI技术的技术发展仍然无法赶上相关应用领域的现实要求。

DPI）中，首先要将关键字或正则表达式特征编译成有限状态自动机（Finite State Automata，FSA），并将FSA的状态表配置在存储器中。匹配过程中，每处理报文的一个字节都需要至少一次查表，以获取下一次要访问的状态地址。匹配的速度取决于访存次数和每次访存的时延，而对于一个给定的报文，访存次数等于报文负载长度。因此要提高匹配的速度就需要尽量减少每次访存的时延。

FSA，状态表配置在高速存储器中，以获得较高的匹配速度。然而，随着网络带宽的快速增加，10G比特的网络已经开始应用于园区网络中；规则的数目也增加到数百甚至上千条。将每条规则编译成单个FSA的方案已经无法满足性能需求。如果将所有规则编译成一个FSA，可能发生状态爆炸。状态表的规模可能超过数100G字节，远超过目前高速存储器的容量，只能配置在外部磁盘这样的低速存储器中，访存时延大大提高。

技术的关键其实是访存的性能，尤其是随机访存的性能，如果能够设计一种存储结构，既能够支持很高的随机访问性能（如达到几十个Gbps以上），又能够有比较大的容量（如到几十兆的大小），则通过良好的状态表数据结构优化，使得状态表的访问能够相对聚集；然后对访存过程加以优化，如流水化访存、Bank交错、并行化访存等措施来进一步提高访问状态表的效率，则高性能的DPI是可以实现的。

DPI技术，借鉴了计算机系统的Cache结构。在计算机系统中，由于局部性原理，可以用先进先出、最近最少使用等替换算法，使Cache有较高的命中率。但是在深度报文检测中，报文的内容却是完全随机的，难以预知下一个要处理的字节内容，会转向哪个状态。选择那些经常被访问的状态存储到高速存储器中是提高性能的关键。戎腾通过独有的马尔科夫预测技术，很好地解决了状态访问的预测问题。

复合存储技术的产品化与应用|网络分流器

PET160S和基于ATCA的CNT16S两种系统，其中PET160S系统可以在16K关键字下，达到70Gbps到90Gbps的匹配性能；而CNT16S系统可以支持在4K正则表达式下，达到40Gbps的性能。此类设备可以在流级上对报文进行标签动作，匹配规则的报文会在报文头部打上命中的规则编号，使得后端分析系统能够根据相应的标签快速执行相应的检测任务。

4倍的性能。即如果核心匹配引擎能够达到n Gbps的性能，则整体报文处理能力就能够4n Gbps左右的性能，也就是说PET160S系统已经完成可以满足双向100Gbps以太网全带宽的关键字DPI能力，而CNT16S也可以满足实网条件下双向100Gbps以太网（实网条件下，上下行流量不会超过200Gbps*80%）的正则表达式DPI要求。

PCI-E的DPI加速卡，可望于近期在单块PCI加速卡上实现40Gbps左右的关键字匹配性能和20Gbps的正则表达式匹配性能，以硬件加速卡的形式为防火墙、入侵检测系统、高速网络管控、CDN、运营商信令分析提供硬件加速。

结束语｜网络分流器

DPI）的关键技术，规则集的复杂化导致对访存的性能和容量需求急剧增加。而状态表的规模远超过高速存储器容量，通过复合存储技术，可以很好地解决DPI的性能问题，并很好地与现有需要DPI加速的产品进行整合。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31546517/viewspace-2213510/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31546517/viewspace-2213510/