随着IP业务的爆炸性发展,如果不能清楚地了解网络的运转状况,也不了解不同的业务类型对带宽的消耗情况,唯一知道的就是带宽又不够了——这势必将运营商推进一个“拥塞-扩容-再拥塞-再扩容”的怪圈。DPI技术能帮助运营商走出这一怪圈吗?
源于运营需求
欣欣向荣的宽带业务,给运营商带来机遇的同时也带来了挑战。一方面,P2P、网络游戏、Web TV、VoIP等应用的普及,为运营商吸纳了大批客户,同时也带来带宽管理、内容计费、信息安全等一系列新的课题。
其中,表现最突出的是P2P应用。P2P技术打破了C/S流量模型,采用“无集中服务器”模式,消除了服务器的瓶颈问题,迅速渗透到文件下载、流媒体,VoIP等业务领域。据统计,目前P2P的流量已经占到网络流量的50%以上,并且这一数字还呈现出不断上升的趋势,甚至被认为是一种杀手级应用和革命性技术。但是,运营商目前在宽带网络的规划和建设模式,显然无法适应P2P应用的流量模型,加上网络设备缺乏有效的技术监管手段,不能感知到P2P应用,导致网络运营商对网络的运行情况无法有效管理,网络出现不同程度的拥塞现象,运营陷入困境。
无法实现内容计费是影响运营商进一步发展的另一道坎。所谓内容计费是指运营商通过对数据包进行深度分析,区分出用户的业务类型,并按照业务特征设置合理的费率。反观现状,数据业务和内容服务不断丰富,但不完善的内容计费方式却不能将业务增量转化为等量的收益增量,反而有些业务的收益还有所下降。另一方面,提供语音、IM、游戏等应用的ISP、ICP,则利用廉价的网络资源,大力发展用户,攫取蛋糕上的奶油,对此运营商只能望洋兴叹,成为他人的铺路石。目前内容计费已经成为无线网关的门槛特性,所有的无线运营商都已经开始部署,固网运营商也在进行多种有益的尝试和研究。
内容安全是令运营商头疼的又一个问题。近年来,来自网络的攻击或入侵,给用户、运营商造成了非常巨大的损失。虽然防火墙能够缓解一部分攻击,但对于那些藏身于IP包净荷之中的病毒,防火墙显然力不从心。近年来,网络攻击的趋势正逐渐转向高层应用。据Gartner统计,目前70%以上的网络攻击事件都集中在应用层,而且这一比例还在不断攀高。由此可见,内容安全已经成为信息安全不可忽视的关键环节。
无法实现业务识别,无法实现内容计费,也无法满足信息安全的需要,这些问题不但增加了运营商的运营成本,而且也降低了用户的满意度。于是,如何深度感知网络应用,提供网络业务控制和管理手段,构建可运营、可管理的网络,成为运营商关注的焦点。所谓深度包检测是相对普通报文分析而言的一种新技术,普通报文检测仅仅分析IP包的四层以下的内容,包括源地址、目的地址、源端口、目的端口以及协议类型,而DPI则在此基础上,增加了对应用层的分析,可识别出各种应用及其内容。
事实上,DPI技术已经在企业网的安全保障体系中有所应用,只是由于其适用范围小,没有引起足够重视,而真正促使DPI技术走上前台的正是P2P应用和内容计费。
三大识别技术
DPI将网络上的数据报文根据五元组分为一个个的应用流,并通过识别技术对应用流中的特定数据报文进行探测,从而确定应用流对应的应用或者用户的动作。针对不同的协议类型,识别技术可划分为以下三类。
第一类是基于特征字的识别技术:不同的应用通常会采用不同的协议,而各种协议都有其特殊的指纹,这些指纹可能是特定的端口、特定的字符串或者特定的Bit序列。基于特征字的识别技术,正是通过识别数据报文中的指纹信息来确定业务流所承载的应用。根据具体检测方式的不同,基于特征字的识别技术又可细分为固定位置特征字匹配、变动位置特征字匹配和状态特征字匹配三种分支技术。通过对指纹信息的升级,基于特征字的识别技术可以很方便地扩展到对新协议的检测。
以Bittorrent协议的识别为例,我们可以通过反向工程的方法对其对等协议进行分析,所谓对等协议指的是peer与peer之间交换信息的一种协议。对等协议总是由一个“握手”开始,后面是循环的消息流,每个消息的前面,都有一个数字来表示消息的长度。在握手流程中,首先发送“19”,跟着是字符串“BitTorrent protocol”。因此可以确定,“19BitTorrent Protocol”就是Bittorrent协议的特征字。
第二类是应用层网关识别技术:我们知道,有一类业务的控制流与业务流是分离的,其业务流没有任何特征。应用层网关识别技术针对的对象就是这一类业务,首先由应用层网关识别出控制流,并根据控制流协议选择特定的应用层网关对业务流进行解析,从而识别出相应的业务流。
对于每一个协议,需要有不同的应用层网关对其进行分析。例如,SIP、H323协议都属于这种类型的协议。SIP、H323通过信令交互过程,协商得到其数据通道,一般是RTP格式封装的语音流。也就是说,纯粹检测RTP流并不能确定这条RTP流是通过哪种协议建立起来的,只有通过检测SIP或H323的协议交互,才能得到其完整的分析。
第三类是行为模式识别技术:在实施行为模式识别技术之前,运营商必须首先对终端的各种行为进行研究,并在此基础上建立起行为识别模型。基于行为识别模型,行为模式识别技术即可根据用户已经实施的行为,判断用户正在进行的动作或者即将实施的动作。
行为模式识别技术通常用于那些无法由协议本身就能判定的业务。例如,从Email的内容看,SPAM(垃圾邮件)业务流与普通邮件业务流两者没有区别,只有进一步分析才能识别出SPAM邮件。具体可通过发送邮件的速率、目的邮件地址数目、变化频率、源邮件地址数目、变化频率、邮件被拒绝的频率等参数,建立起行为识别模型,并以此分拣出垃圾邮件。
这三类识别技术分别适用于不同类型的协议,它们之间无法相互替代。综合运用这三种识别技术,运营商即可高效、灵活地识别出网络上的各种应用。
如何实现模式匹配和数据转发?
DPI的关键在于,它要不断地在格式不定的数据包中判断出各种特征字,实现这一过程的基础技术就是模式匹配(Pattern-Matching)。通俗地讲,就是字符串匹配,即从数据中搜索是否存在目标字符串。通常,目标字符串采用正则表达式(Regular expression_r)标准语法来描述。
模式匹配可通过以下三种方式实现。
第一种方式是软件模式匹配:在字符串匹配算法中,匹配一个字符串的算法称为单模,而同时匹配多个字符串的算法则称为多模,BM算法是典型的单模式匹配算法,AC(Aho-Corasick)算法则是典型的多模匹配算法。CPU多核化的趋势大大地提高了软件模式匹配的性能,如某多核处理器已经达到8个核,每核4个硬线程,基本IP处理性能达到5Gbps。
第二种方式是TCAM模式匹配:TCAM是一种进行用于查表操作的专用芯片,其特点是一次命中,查找速度与表的大小无关。这种方式特别适合路由表/ACL表的高速查找,由于这种方式要求匹配字符串的位置必须相对固定,因此不适合DPI可变位置的查找。目前已经有厂家尝试在TCAM外面增加逻辑电路,以此来扩展TCAM模式的灵活性。
第三种方式是ASCI模块匹配:通过把正则表达式解释器ASCI化,把需要检测的字符串通过正则表达式编译后,加载到芯片中,进行特征字库升级。
比较三种模式匹配技术,TCAM方式的灵活性低,实现难度大,功耗高,不是发展方向;软件方式的灵活性高,而且随着多核CPU的普及,性能快速提高;内容检测ASCI性能较高,灵活性也高。总体来讲,软件模式匹配和ASCI模式匹配是未来的主流发展方向。
在识别出业务类型后,下一步就是如何高速转发这些业务数据流。NP(Network Processor)是一种理想的数据转发处理器,它兼顾了业务的灵活性和高速转发性能,目前40G的NP处理器已经商用,非常适合高速数据转发。
从DPI的基本功能看,没有哪一种器件能够兼顾识别和高速控制转发的双重要求。识别功能强调灵活性,主要采用多核CPU或者内容识别ASIC来实现,而控制转发强调高性能,NP是最佳处理器。从发展的角度看,NP+多核CPU/ASIC很可能成为高端DPI的未来方向。
支持运营商重构价值链
在运营商从管道提供商向综合信息提供商演进的过程中,DPI技术对于重构增值业务价值链起着非常重要的支撑作用。如图1所示,在业务网关位置增强业务识别和运营能力,可为ISP、ICP、用户提供一个共同健康发展的平台。
图1 DPI支持价值链重构
在运营商重建价值链的过程中,DPI的第一个支撑作用就是识别业务,并提供策略管理。业务识别技术分为两大类别,即DPI业务识别和IMS架构的业务识别。DPI业务识别是由网络设备根据业务流进行检测和识别,而IMS架构则是通过应用层通知网络设备业务的标识。IMS架构适合于那些由运营商集中运营的C/S模型的业务(如NGN),而DPI业务识别则适合于非运营商的业务,以及利用P2P承载的业务,两种技术互为补充。在完成业务识别后,运营商即可根据用户的业务策略,实施相应的QoS技术,保障用户定制的业务质量,而对于其它业务则可采用尽力而为的转发方式。
DPI的另一个支撑作用就是支持灵活的内容计费机制。所谓内容计费,是指运营商可以根据不同的服务内容来制订有差别化的资费模式,其关键之处就是不同业务不同价值,而业务识别则是实现内容计费的前提,如果不能实现业务识别,那么内容计费也就无从谈起。
能否实现内容计费是重构价值链的重要前提。通过业务识别,运营商可实现五种基于内容的计费方式:基于内容价值的按时长计费、基于内容价值的按事件或者动作次数计费、基于内容价值的按数据流量计费、基于内容价值的按QoS计费,以及上述方式的组合计费。可以看出,内容计费方式比现有的计费方式更加透明、简单和易于理解,也与我们日常生活中的其它交易或消费体验比较接近,此外内容计费还能够给SP、CP创造一个更加公平、公正的竞争环境,从而促进整个内容服务价值链健康发展。
未来展望
随着需求推动和技术的不断成熟,DPI技术会像IP地址过滤器(ACL)一样,作为一种网络设备增强的过滤器,部署在BRAS、GGSN、SR中,逐步将用户管理、安全控制、精细的业务控制等能力有机地集成在一起,实现各类业务的动态感知、策略控制、QoS保障,以及网络与业务的安全保障等功能,降低运营商的资本性支出(CAPEX)与运营支出(OPEX),为运营商提供一个电信业务的基础运营平台。
源于运营需求
欣欣向荣的宽带业务,给运营商带来机遇的同时也带来了挑战。一方面,P2P、网络游戏、Web TV、VoIP等应用的普及,为运营商吸纳了大批客户,同时也带来带宽管理、内容计费、信息安全等一系列新的课题。
其中,表现最突出的是P2P应用。P2P技术打破了C/S流量模型,采用“无集中服务器”模式,消除了服务器的瓶颈问题,迅速渗透到文件下载、流媒体,VoIP等业务领域。据统计,目前P2P的流量已经占到网络流量的50%以上,并且这一数字还呈现出不断上升的趋势,甚至被认为是一种杀手级应用和革命性技术。但是,运营商目前在宽带网络的规划和建设模式,显然无法适应P2P应用的流量模型,加上网络设备缺乏有效的技术监管手段,不能感知到P2P应用,导致网络运营商对网络的运行情况无法有效管理,网络出现不同程度的拥塞现象,运营陷入困境。
无法实现内容计费是影响运营商进一步发展的另一道坎。所谓内容计费是指运营商通过对数据包进行深度分析,区分出用户的业务类型,并按照业务特征设置合理的费率。反观现状,数据业务和内容服务不断丰富,但不完善的内容计费方式却不能将业务增量转化为等量的收益增量,反而有些业务的收益还有所下降。另一方面,提供语音、IM、游戏等应用的ISP、ICP,则利用廉价的网络资源,大力发展用户,攫取蛋糕上的奶油,对此运营商只能望洋兴叹,成为他人的铺路石。目前内容计费已经成为无线网关的门槛特性,所有的无线运营商都已经开始部署,固网运营商也在进行多种有益的尝试和研究。
内容安全是令运营商头疼的又一个问题。近年来,来自网络的攻击或入侵,给用户、运营商造成了非常巨大的损失。虽然防火墙能够缓解一部分攻击,但对于那些藏身于IP包净荷之中的病毒,防火墙显然力不从心。近年来,网络攻击的趋势正逐渐转向高层应用。据Gartner统计,目前70%以上的网络攻击事件都集中在应用层,而且这一比例还在不断攀高。由此可见,内容安全已经成为信息安全不可忽视的关键环节。
无法实现业务识别,无法实现内容计费,也无法满足信息安全的需要,这些问题不但增加了运营商的运营成本,而且也降低了用户的满意度。于是,如何深度感知网络应用,提供网络业务控制和管理手段,构建可运营、可管理的网络,成为运营商关注的焦点。所谓深度包检测是相对普通报文分析而言的一种新技术,普通报文检测仅仅分析IP包的四层以下的内容,包括源地址、目的地址、源端口、目的端口以及协议类型,而DPI则在此基础上,增加了对应用层的分析,可识别出各种应用及其内容。
事实上,DPI技术已经在企业网的安全保障体系中有所应用,只是由于其适用范围小,没有引起足够重视,而真正促使DPI技术走上前台的正是P2P应用和内容计费。
三大识别技术
DPI将网络上的数据报文根据五元组分为一个个的应用流,并通过识别技术对应用流中的特定数据报文进行探测,从而确定应用流对应的应用或者用户的动作。针对不同的协议类型,识别技术可划分为以下三类。
第一类是基于特征字的识别技术:不同的应用通常会采用不同的协议,而各种协议都有其特殊的指纹,这些指纹可能是特定的端口、特定的字符串或者特定的Bit序列。基于特征字的识别技术,正是通过识别数据报文中的指纹信息来确定业务流所承载的应用。根据具体检测方式的不同,基于特征字的识别技术又可细分为固定位置特征字匹配、变动位置特征字匹配和状态特征字匹配三种分支技术。通过对指纹信息的升级,基于特征字的识别技术可以很方便地扩展到对新协议的检测。
以Bittorrent协议的识别为例,我们可以通过反向工程的方法对其对等协议进行分析,所谓对等协议指的是peer与peer之间交换信息的一种协议。对等协议总是由一个“握手”开始,后面是循环的消息流,每个消息的前面,都有一个数字来表示消息的长度。在握手流程中,首先发送“19”,跟着是字符串“BitTorrent protocol”。因此可以确定,“19BitTorrent Protocol”就是Bittorrent协议的特征字。
第二类是应用层网关识别技术:我们知道,有一类业务的控制流与业务流是分离的,其业务流没有任何特征。应用层网关识别技术针对的对象就是这一类业务,首先由应用层网关识别出控制流,并根据控制流协议选择特定的应用层网关对业务流进行解析,从而识别出相应的业务流。
对于每一个协议,需要有不同的应用层网关对其进行分析。例如,SIP、H323协议都属于这种类型的协议。SIP、H323通过信令交互过程,协商得到其数据通道,一般是RTP格式封装的语音流。也就是说,纯粹检测RTP流并不能确定这条RTP流是通过哪种协议建立起来的,只有通过检测SIP或H323的协议交互,才能得到其完整的分析。
第三类是行为模式识别技术:在实施行为模式识别技术之前,运营商必须首先对终端的各种行为进行研究,并在此基础上建立起行为识别模型。基于行为识别模型,行为模式识别技术即可根据用户已经实施的行为,判断用户正在进行的动作或者即将实施的动作。
行为模式识别技术通常用于那些无法由协议本身就能判定的业务。例如,从Email的内容看,SPAM(垃圾邮件)业务流与普通邮件业务流两者没有区别,只有进一步分析才能识别出SPAM邮件。具体可通过发送邮件的速率、目的邮件地址数目、变化频率、源邮件地址数目、变化频率、邮件被拒绝的频率等参数,建立起行为识别模型,并以此分拣出垃圾邮件。
这三类识别技术分别适用于不同类型的协议,它们之间无法相互替代。综合运用这三种识别技术,运营商即可高效、灵活地识别出网络上的各种应用。
如何实现模式匹配和数据转发?
DPI的关键在于,它要不断地在格式不定的数据包中判断出各种特征字,实现这一过程的基础技术就是模式匹配(Pattern-Matching)。通俗地讲,就是字符串匹配,即从数据中搜索是否存在目标字符串。通常,目标字符串采用正则表达式(Regular expression_r)标准语法来描述。
模式匹配可通过以下三种方式实现。
第一种方式是软件模式匹配:在字符串匹配算法中,匹配一个字符串的算法称为单模,而同时匹配多个字符串的算法则称为多模,BM算法是典型的单模式匹配算法,AC(Aho-Corasick)算法则是典型的多模匹配算法。CPU多核化的趋势大大地提高了软件模式匹配的性能,如某多核处理器已经达到8个核,每核4个硬线程,基本IP处理性能达到5Gbps。
第二种方式是TCAM模式匹配:TCAM是一种进行用于查表操作的专用芯片,其特点是一次命中,查找速度与表的大小无关。这种方式特别适合路由表/ACL表的高速查找,由于这种方式要求匹配字符串的位置必须相对固定,因此不适合DPI可变位置的查找。目前已经有厂家尝试在TCAM外面增加逻辑电路,以此来扩展TCAM模式的灵活性。
第三种方式是ASCI模块匹配:通过把正则表达式解释器ASCI化,把需要检测的字符串通过正则表达式编译后,加载到芯片中,进行特征字库升级。
比较三种模式匹配技术,TCAM方式的灵活性低,实现难度大,功耗高,不是发展方向;软件方式的灵活性高,而且随着多核CPU的普及,性能快速提高;内容检测ASCI性能较高,灵活性也高。总体来讲,软件模式匹配和ASCI模式匹配是未来的主流发展方向。
在识别出业务类型后,下一步就是如何高速转发这些业务数据流。NP(Network Processor)是一种理想的数据转发处理器,它兼顾了业务的灵活性和高速转发性能,目前40G的NP处理器已经商用,非常适合高速数据转发。
从DPI的基本功能看,没有哪一种器件能够兼顾识别和高速控制转发的双重要求。识别功能强调灵活性,主要采用多核CPU或者内容识别ASIC来实现,而控制转发强调高性能,NP是最佳处理器。从发展的角度看,NP+多核CPU/ASIC很可能成为高端DPI的未来方向。
支持运营商重构价值链
在运营商从管道提供商向综合信息提供商演进的过程中,DPI技术对于重构增值业务价值链起着非常重要的支撑作用。如图1所示,在业务网关位置增强业务识别和运营能力,可为ISP、ICP、用户提供一个共同健康发展的平台。
图1 DPI支持价值链重构
在运营商重建价值链的过程中,DPI的第一个支撑作用就是识别业务,并提供策略管理。业务识别技术分为两大类别,即DPI业务识别和IMS架构的业务识别。DPI业务识别是由网络设备根据业务流进行检测和识别,而IMS架构则是通过应用层通知网络设备业务的标识。IMS架构适合于那些由运营商集中运营的C/S模型的业务(如NGN),而DPI业务识别则适合于非运营商的业务,以及利用P2P承载的业务,两种技术互为补充。在完成业务识别后,运营商即可根据用户的业务策略,实施相应的QoS技术,保障用户定制的业务质量,而对于其它业务则可采用尽力而为的转发方式。
DPI的另一个支撑作用就是支持灵活的内容计费机制。所谓内容计费,是指运营商可以根据不同的服务内容来制订有差别化的资费模式,其关键之处就是不同业务不同价值,而业务识别则是实现内容计费的前提,如果不能实现业务识别,那么内容计费也就无从谈起。
能否实现内容计费是重构价值链的重要前提。通过业务识别,运营商可实现五种基于内容的计费方式:基于内容价值的按时长计费、基于内容价值的按事件或者动作次数计费、基于内容价值的按数据流量计费、基于内容价值的按QoS计费,以及上述方式的组合计费。可以看出,内容计费方式比现有的计费方式更加透明、简单和易于理解,也与我们日常生活中的其它交易或消费体验比较接近,此外内容计费还能够给SP、CP创造一个更加公平、公正的竞争环境,从而促进整个内容服务价值链健康发展。
未来展望
随着需求推动和技术的不断成熟,DPI技术会像IP地址过滤器(ACL)一样,作为一种网络设备增强的过滤器,部署在BRAS、GGSN、SR中,逐步将用户管理、安全控制、精细的业务控制等能力有机地集成在一起,实现各类业务的动态感知、策略控制、QoS保障,以及网络与业务的安全保障等功能,降低运营商的资本性支出(CAPEX)与运营支出(OPEX),为运营商提供一个电信业务的基础运营平台。