IP码流监测技术及应用—摘录于2012ICTC论文集

http://www.bohui.com.cn/anli_nr.aspx?catid=414&newsid=821&ismenu=4

IP码流监测技术及应用—摘录于2012ICTC论文集

IP码流监测技术及应用

 

The Technology and Application of IP Flow Monitoring

 

 

摘要

随着三网融合的进一步发展，提高有线数字电视的安全稳定性，保障用户的服务质量也显得至关重要。本文介绍了IP码流监测技术中的几个重要监测指标，同时引入了一个流可用度概念来总体评估流指标，并利用IP码流监测技术设计开发了BHIP59-万兆IP码流分析系统，为现在市场对万兆监测的需求提供了好的解决方案。

    关键词：三网融合  IP码流  监测  指标  流可用度  万兆

 

 

Abstract

With the further development of three-network convergence, it is vitally important to improve the security and stability of the cable digital TV, protecting the service quality of users. This article describes several important monitoring indexes of the IP flow monitoring technology, while introducing a concept of flow availability to evaluate flow index overall, and the BHIP59-10G IP flow analysis system designed and developed by taking advantage of the IP flow monitoring technology provides a good solution for the market demand of 10G monitoring at the moment.

Keywords: three-network convergence, IP flow, monitoring, index, flow availability, 10G

 

 

作者

姜陈，毕业于伦敦大学玛丽女王学院，现就职于北京市博汇科技有限公司，担任软件开发工程师岗位，参与了BHIP59-万兆IP码流分析系统项目的设计开发。

1、引言

随着有线数字电视产业的大力发展，数字电视已经成为广大人民文化娱乐生活的重要组成部分，是党和政府文化、宣传的阵地。提高有线数字电视的安全稳定性，保障用户的服务质量，是数字电视产业发展的前提和基础。

要提高有线数字电视的安全稳定性，除了要保证数字电视设备的安全稳定之外，还要保证传输流的质量。数字电视传输流(TS)是根据ITU-T Rec. H.222.0|ISO/IEC 13818-2和ISO/IEC 13818-3协议而定义的一种数据流，目的是为了在有可能发生严重错误的环境下进行一个或多个节目的编码数据传输。由于实际信道中存在一定的误码，对维修和设计人员来说，监测信道中的传输流将是判断误码根源的最好途径。

随着信息产业IP化，可以利用IP码流监测技术，实时分析来自卫星接收机、编码器、转码器、复用器、视频服务器等输出的IP码流，完成对IP流的全景监测及流指标的集中监测报警，及时的发现并解决问题，保证服务质量。

 

 

2、IP码流监测指标

2.1 流可用度概念

在以往的监测过程中，我们利用IP码流监测技术监测了很多指标，例如MDI-DF（抖动延迟因子），MDI-MLR（媒体丢包率）、MaxPacketInterval（最大包间隔）、MeanPacketInterval（平均包间隔）、MinPacketInterval（最小包间隔）等等，但是都没有一个直观的总体指标来描述我们所监测到的码流。这时，我们引入了一个新的可以用来总体评估流指标的概念：流可用度。

流可用度就是在监测点处，流无故障秒数占总监测时间的百分比，它的计算公式如下：

    流可用度是对一段时间内的服务质量的直观度量，而影响流可用度的故障，主要是媒体数据丢包，从而影响了用户观看节目的效果。

针对某监测点在时间维度上进行对比，可以掌握某监测点在一段时间内的总体服务质量，以及服务质量随时间的变化趋势或规律。

 

2.2 其他监测指标

网络传输特性往往归纳为三个指标：延迟，抖动和丢包。

1）延迟：在视频传输应用中，恒定的延迟表现为视频观看时间的推迟。为了避免网络抖动而产生视频播放效果恶化，网络节点和视频解码器往往需要对视频流进行缓冲。实验数据表明，视频播放延迟不影响视频观看的质量。

2）抖动：抖动产生有多种原因：视频编码器、服务器性能变化，网络线路出现拥挤，网络设备性能变化都可以导致视频流的抖动变化。观测视频流的抖动变化可以帮助运维人员提前发现视频传输质量恶化的趋势。

3）丢包：丢包对视频播放质量有直接的影响，试验表明，无论视频丢包的类型是什么，在没有适当的视频解码补偿或者丢包重传机制下，视频播放质量都会出现不同程度的下降。

 

2.2.1 MDI指标

MDI（Media Delivery Index）媒体传输质量指标是对视频流在IP网络传输质量进行评估的测量指标。作为IP视频流传输质量测试的行业标准，MDI测量指标广泛地应用于IPTV和IP有线数字电视网络质量评估和监测。

MDI包括了两个参数：

1）Delay Factor（延迟因素，简称DF）

DF表明被测试视频流的延迟和抖动状况，它的单位是毫秒（ms）。DF将视频流抖动的变化换算为对视频传输和解码设备缓冲的需求。被测视频流抖动越大，DF值越大。当网络设备和解码器的缓冲区容纳的视频内容时间不小于被测视频流DF读数时，将不会出现视频播放质量的下降。因为网络节点需要分配不小于DF值得缓冲用于平滑视频流抖动，所以DF的最大值为视频内容通过该网络节点的最小延迟。

流媒体应用有实时性的特点。在流媒体通过IP网络传输的同时，终端解码器在消耗已接收到的媒体流信息。IP网络传输媒体流出现的抖动表现为同一媒体流的IP封包传输的间隔不均匀。

在采样周期中，DF首先计算在测量点每个IP视频封包到达时间变化。然后，与预期的视频流速度对比得出。采样周期默认为1秒。DF的数值在每次采样周期完成后更新。具体DF的计算公式如下：

假设在测量点有虚拟缓存大小为X，

接收到的字节数为实际测量得到；解码所需的字节数通过对媒体流解码分析得到。

那么，

媒体流码率单位是：字节/秒。最大值（X）和最小值（X）是在采样周期内所得数值。

DF的计算将网络抖动换算为对媒体流解码缓冲的需求。当解码器的缓存保存媒体信息不小于DF数值，解码器不会出现缓存内容耗尽的情形；因此，网络的抖动将不影响视频播放的质量。

2）Media Loss Rate（媒体丢包速率，简称MLR）

MLR的单位是每秒的媒体封包丢失数量。该数值表明被测试视频流的传输丢包速率。由于视频信息的封包丢失将直接影响视频播放质量，理想的IP视频流传输要求MLR数值为零。因为具体的视频播放设备对丢包可以通过视频解码中进行补偿或者丢包重传，在实际测试中MLR的阈值可以相应调整。

MLR计算媒体封包在采样周期内的丢失总数：

默认采样周期为1秒。媒体封包在MPEG-2 TS封装格式是指有效的MPEG封包（不包括填充MPEG封包）。

 

2.2.2 MDI与其它测量参数的配合

MDI主要反应了视频流传输的抖动和丢包特性。但是，MDI-MLR不能反应丢包的持续性。实验数据表明，连续小量的丢包比一次大量的丢包对视频观看质量有更明显的影响。因此，MLT-15（前15分钟丢包总数），MLT-24（前24小时丢包总数）可以帮助使用者看到测试时间内的累积丢包数目，并结合MLS-15（前15分钟内丢包时间总数）、MLS-24（前24小时内丢包时间总数）计算出的可用度，更好的对视频流进行监测，随时观测视频流的输出质量，以便帮助运维人员及时发现视频传输质量恶化的问题。

3、IP码流监测技术应用

BHIP59-万兆IP码流分析系统是利用IP码流监测技术而设计开发的一款码流监测分析系统。该系统满足IP码流系统中视频服务器的输出内容监测，对服务器输出的码流异常做准确、及时的报警，通过Web浏览器对监测指标及报警进行展示。其中，不仅引入了一个总体评估指标流可用度的概念，还可以实时监测3000多个流，实现海量数据的处理分析，补充了市场在万兆接入监测平台的空白。

 

3.1 BHIP59-万兆IP码流分析系统的架构

图表 1 BHIP59-万兆IP码流分析系统框架

BHIP59-万兆IP码流分析系统由BHIP59-万兆IP码流监测系统和BHIP59-IPView IP码流分析系统两部分组成。

BHIP59-万兆IP码流监测系统首先要用万兆网卡进行抓包，并对其性能进行了评估，达到了最大输入带宽。其次利用I7监测码流性能，由于是万兆IP监测，流的数目要大于3000个流，需要实现多个流数据分发、处理，要对上报模块性能进行评估，调整结构，平衡CPU负载。万兆IP监测数据量是非常大的，而且对实时性的要求非常高，所以在与BHIP59-IPView IP码流分析系统通讯时采用的是UDP通讯协议。BHIP59-万兆IP码流监测系统和BHIP59-IPView IP码流分析系统采用的是异步通讯方式，分为配置通道和上报通道：BHIP59-万兆IP码流监测系统通过上报通道上报相关数据，BHIP59-IPView IP码流分析系统通过配置通道下发配置命令。再次要确保稳定性，不仅万兆网卡要足够稳定，还要保证8G带宽不出现丢包现象。

BHIP59-IPView IP码流分析系统主要是通过Java与Web开发而设计实现的，用户可以通过Web浏览器观看到实时监测的流的相关指标、报警等信息。BHIP59-IPView IP码流分析系统采用多线程处理的方式，利用Java在UDP网络编程方面的技术知识，后台实时解析BHIP59-万兆IP码流监测系统上报的数据，包括流的指标信息和报警信息、设备信息等，并将数据存储到相应的内存数据结构当中，与此同时JSP页面利用JQuery、Ajax等技术，异步刷新前台显示信息；利用Flex技术，画出流的某些相关指标实时变化的曲线趋势图和BHIP59-万兆IP码流监测系统不同CPU的状态图；利用博汇公司自主研发的插件可以看到流的节目信息。

 

3.2 BHIP59-万兆IP码流分析系统的功能

BHIP59-万兆IP码流监测系统支持对码流的可用性评估、支持MDI(RFC4445)指标分析、支持TR101 290指标分析、支持对单个码流的深度分析，包括带宽、PID、PSI/SI、视音频编码信息等、支持UDP、RTP打包格式、支持SPTS、MPTS，支持MPEG-2、H.264、AAC、MP2等多种视音频编码格式、支持单播或组播、采用嵌入式Linux操作系统、最大支持直播或点播流数目为3000路、支持全万兆线速监测、支持指定码流回传、支持本地web页面查看流全景信息及监测指标、支持远程集中配置管理。

BHIP59-IPView IP码流分析系统支持对码流的可用性评估、支持MDI(RFC4445)指标分析、支持TR101 290指标分析、支持对单个码流的深度分析，包括带宽、PID、PSI/SI、视音频编码信息等、支持直播或点播流数目为3000路、支持SPTS、MPTS，支持MPEG-2、H.264、AAC、MP2等多种视音频编码格式。

 

图表 2 流可用度展示页面

图表 3 流指标展示页面

图表2为流可用度展示页面。该页面展示的是某通道的所有流的总体可用度情况，支持按照流的源IP、目的IP、故障状态、可用度对流进行过滤显示。通过对流的24小时可用度的计算，可以总体来评估流指标。根据流的MLS-24（前24小时内丢包时间总数）指标，利用公式（24*3600-MLS-24）/（24*3600）计算得来，并且划分为5个范围：

1）绿：24小时可用度大于99.999%

2）黄：24小时可用度大于99.99%(小于99.999%)

3）橙：24小时可用度大于99.9%(小于99.99%)

4）红：24小时可用度大于99%(小于99.9%)

5）黑：24小时可用度小于99%

最近1小时和最近24小时可用度的计算类似于24小时可用度，利用MLS-15（当前15分钟内丢包时间总数）指标来计算，可以掌握流在一段时间内的总体服务质量，以及服务质量随时间的变化趋势或规律。

流的故障状态是通过下位机上报上来的，也分成5种状态：

1）黑：流中断

2）红：MLR错误、或MLT-15错误、或MLT-24错误、或290一级错误

3）橙：MDI-DF错误、或带宽错误、或290二、三级错误等其他告警

4）黄：曾出现过中断或错误或告警

5）绿：无上述任何故障

其中290一级错误包括：TS同步丢失错误、同步字节错误、PAT错误、连续计数错误、PMT错误、PID错误，290二级错误包括：传输错误、CRC错误、PCR间隔错误、PCR精度错误、PTS错误、CAT错误，290三级错误包括：NIT错误、SI重复错误、缓存器错误、非指定的PID错误、SDT错误、EIT错误、RST错误、TDT错误、数据延迟错误。

图表3为流指标展示页面。该页面展示的是某通道的所有流的总体指标及故障，支持按照流的源IP、目的IP、故障状态对流进行过滤显示。流的故障状态的统计与流可用度展示页面中故障状态的统计方法是一样的，页面中展示的流的指标包括：流的源IP+端口、流的目的IP+端口、故障状态、监测总时长、流中断次数/秒数、MLR（媒体丢包率）、MLT-15（当前15分钟丢包总数）、MLT-24（前24小时丢包总数）、MLS-Total（统计至今所有发现丢包时间）、MLS-15（当前15分钟内丢包时间总数）、MLS-24（前24小时内丢包时间总数）、IP流带宽、IP流带宽最小值、IP流带宽最大值、媒体比特率、有效带宽、协议类型、可用度、MDI-DF（抖动因子）、最大包间隔、Total CC-15 Error（当前15分钟连续计数错总数）、Total CC-24 Error（前24小时连续计数错总数）、PID数目。

双击单个流，可查看到单个流的详细信息。页面整体分为上下两部分，上部分包含：基本信息、趋势图、报警统计、PSI/SI、节目信息。下部分为报警日志的列表信息。上部分信息内容：1）基本信息：是对单个流的详细信息进行展示，包括IP层指标、TS层指标、PID和TR101290错误。其中每个错误前面都有一个状态灯，表示具体是哪一个错误，颜色包括绿（正常）、红（发生）、灰（暂不可用）。2）趋势图：利用Flex技术，通过4个图展示了流的几个重要指标的变化情况，包括MLS-15、带宽、MDI-DF和包间隔。3）报警统计：该部分主要分为左右两部分，左侧部分为具体的报警名称以树状形式显示，以及对应的统计（有父子关系的，只统计子节点）。右侧为左侧选中部分对应的具体报警信息，分为三列，时间、状态、描述。报警状态灯颜色包括绿（正常），红（发生），灰（不可用）。该部分的报警依赖关系由下位机进行处理，如：发生流中断，别的相关引起的报警不上报。4）PSI/SI和节目信息根据相应的插件进行处理。下部分信息内容：报警日志列表，主要分为3列：时间、状态和描述。

设备信息页面展示的是设备的一些相关信息，包括设备名称、BHIP59-10G下位机版本号、BHIP60-FPGA版本号、IPView上位机版本号、BHIP59上下位机连接状态、网口类型、当前线程个数、当前监测流总数、输入总带宽、每秒TS丢包数、Mac帧率、数据输入口连接状态、CPU状态、CPU平均使用情况、运行时间、物理内存使用情况。

系统配置页面包含报警开关及门限配置和报警错误配置。报警开关及门限配置可设置错误是否上报，上报时的门限值是多少。当选择保存或恢复默认时，IPView上位机会下发配置命令给BHIP59-10G下位机，下位机会根据配置命令来进行错误的上报。报警错误配置可设置哪些报警属于错误，哪些报警属于告警。默认情况下290一级错误、MLR错误、MLT-15错误和MLT-24错误认为比较严重，归为错误，其它归为告警。当选择保存或恢复默认时，会影响流可用度和流指标页面上流故障状态的统计。

在流指标展示页面和单个流基本信息页面，可进行流指标清空操作。点击清空操作，IPView上位机会下发流参数复位命令，致使下位机对相应的流做MLR、MLT-15、MLT-24等指标的清空，同时在单个流报警统计页面，可进行报警信息清空的操作。

 

3.3 BHIP59-万兆IP码流分析系统的应用

BHIP59-IPView IP码流分析系统，为BHIP59-万兆IP码流监测系统提供web服务。BHIP59-IPView IP码流分析系统和BHIP59-万兆IP码流监测系统配套应用于IPTV、互动点播系统和在线直播系统，可对卫星接收机、编码器、转码器、复用器、视频服务器、网络传输链路等各个环节的传输流质量进行全面监测。

BHIP59-万兆IP码流监测系统产品采用标准1U机架式机箱、嵌入式设计架构，支持对直播节目与点播节目的监测；支持硬件时间戳，实现纳秒级精度测量；支持万兆满载输入，可支持3000路码流的并行监测；支持UDP和RTP协议；监测指标包括节目可用度评估、TR101 290分析、MDI分析、MLS分析、带宽统计、表格分析、地址/端口分析等。

BHIP59-IPView IP码流分析系统提供友好、直观的页面，实现BHIP59-万兆IP码流监测系统监测指标设置，以及对监测结果的直观、友好呈现。BHIP59-IPView IP码流分析系统提供对所有码流的可用度指标图形展示、全部监测指标的数值展示、重要监测指标的图形展示，并全面展示码流的基本信息、带宽信息、TR101 290指标及MDI指标等监测结果、PSI/SI信息，支持浏览某节目的编码信息、支持实时视频查看；在查看任何页面时都能实时显示全部码流的报警日志信息。

 

 

4、结束语

本文简要介绍了IP码流监测技术中几个重要的监测指标以及利用监测技术设计开发的万兆IP码流分析系统，为现在市场对万兆监测的需求提供了好的解决方案，保障用户服务质量的同时有效提高了数字电视的安全性和稳定性。随着科学技术的发展，越来越多的产业都在向着IP化发展，电视网、电信网、互联网的IP化即三网融合也在快速稳定的前进着，IP码流监测技术及万兆IP码流分析系统将不仅能够应用于数字电视产业，还可以应用到更多的IP化产业当中，同时也加速推进了三网融合的发展。