推荐 | 电信业网络质量实时分析模型解决方案

原创 2016年05月31日 11:49:25

网络质量实时分析思路

通信网络时时刻刻在产生着大量的事件,如信令、xDR等,产生速度可达几十MB/s至几十GB/s。要想实现大规模流数据的实时分析,传统的IT系统已经无法支撑,因此,我们需要引入流计算平台,如IBM Streams。利用流计算平台高性能、分布式、可扩展等特点,高速产生和流动网络事件能及时地获取有业务价值的信息。流计算平台在网络质量实时分析中实现的关键业务包括:

  • 全局实时KPI计算,如当前1分钟和10分钟内的MSC切换失败次数和比例。
  • 局部KPI监控与重点对象的关注,如VIP客户通话失败原因实时汇总。
  • 大规模数据预处理,以便后续加载到数据仓库或HDFS再进行离线批量处理。

整体思路如下图所示。

电信网络质量解决方案

信令数据直接从网络设备引入到Streams流计算平台;然后由Streams应用程序按照业务规则,对信令数据进行实时的加工、计算、汇总等处理;最后将实时分析结果写入至目标存储,如数据库、HDFS或实时展现工具。

网络质量实时分析参考模型

无论采取哪种流计算技术,网络事件的实时分析都可以分为三大部分:

  • 数据实时注入或获取
  • 数据按业务规则实时分析
  • 分析结果推送到目标端

下图是网络质量实时分析的参考模型。为了方便结合业务场景进行描述,参考模型用多个红线框划分功能模块。

电信网络质量解决方案

1. 数据实时注入

网络设备所产生的数据通过TCP/FTP/本地文件等方式实时注入到Streams。由于数据源可能提供多种不同的数据格式,如二进制码流、或CSV格式的文本,Streams接收到数据之后先进行解析,以便后续的处理。

2. VIP客户业务质量实时分析

根据用户静态属性(来源于数据库或文件),过滤出高价值客户,即VIP客户。对于这类客户的相关业务质量实时分析,有助于及时发现他们在使用通信网络中遇到的问题,以便及时处理VIP客户的投诉与对他们进行定制化的客户关怀。

3. 全局网络质量实时分析

利用所有网络事件对全网的网络质量进行实时分析,包括各项KPI的按不同的时间粒度进行统计,如1分钟和10分钟粒度的MSC内切换次数,通话失败原因的汇总和排序等。

4. 实时分析结果入库

将实时分析结果写入数据库,以便后续的查询和展示。除了写入数据库的方式,Streams也支持将结果写入文件、Kafka或TCP Socket等方式,亦可直接将结果推送给实时展示工具,如Excel Realtime Data。

5. 大规模数据预处理(实时ETL)

利用Streams的可定制业务逻辑及高性能处理能力的特点,实现网络事件数据的实时ETL

6. 预处理后的大规模数据写入HDFS

调研Streams提供的HDFS相关Toolkit,将经过预处理的网络事件数据写入至HDFS,一般后续进行离线分析。

Streams在网络质量实时分析中的价值

  • 高性能:满足大规模数据实时计算的要求。
  • 高扩展性:分布式架构极易扩展,满足日益增长的业务和计算能力要求。
  • 易实现:针对流计算而设计的开发语言,内置大量的工具箱,结合基于图形和拖拽的开发工具,极易实现流分析应用。
  • 完善的管理功能:基于Web的一体化管理和监控工具。
  • 成熟、稳定、可靠:10多年的应用历程,业界最成熟、稳定、可靠的流计算产品。

当然,除了电信业以外,其它行业的成熟解决方案如交通、医疗、零售、金融等也可以参考一下慧都大数据、与IBM国际厂商合作的一个商家,解决方案以及案例还是比较权威的。

版权声明:本文为博主原创文章,未经博主允许不得转载。

网络性能评价方法

目前度量网络的品质的方法如果仅以网络连接类型来区分,比如2G, 3G, Wifi等,无法有效感知到当时的网络状态。在同一网络连接类型下,网络的品质仍有大幅波动,可能会因为阻塞以及线路上问题导致延迟上抖...
  • HorkyChen
  • HorkyChen
  • 2016年03月08日 00:41
  • 10898

3.1 数据质量分析

这是书籍《Python数据分析与挖掘实战》里面第3.1节的一些实践。 理论废话就不讲了,主要是程序代码、调试报错以及结果记录,附带一些心得。 首先说明,数据是书里面网站自带的。 http://pa...
  • qq_27469517
  • qq_27469517
  • 2016年12月05日 09:19
  • 719

数据质量分析

在数据分析和数据挖掘之前,我们首先要做的就是对数据进行预处理,将那些所谓的“脏数据”给去除掉,提高数据分析和挖掘的准确性和有效性。也就是说数据质量分析是数据挖掘和数据分析的重要开头。只有正确有效的数据...
  • wzgl__wh
  • wzgl__wh
  • 2016年03月10日 00:32
  • 2531

网络性能评价

从考察网络的性能角度上来看网络,总是难以捉摸,其中涉及的因素很多。各种网络参数和各类概率事件相互作用,最终表现出一个不断变化的系统环境。作为一个学习运用网络的开发者,不能仅将网络视为一个黑盒,反而是要...
  • HorkyChen
  • HorkyChen
  • 2013年12月24日 00:42
  • 4130

分析国内App推广渠道和方法

导读:对于App的开发者来说,或许推广一款App要比开发难很多,而且App推广的方法和渠道众多,我在知乎上看到作者StarWalking和蒋江的回答非常专业,希望可以作为您解决App推广的一把钥匙,从...
  • violet_chengxiao
  • violet_chengxiao
  • 2014年10月27日 18:36
  • 1027

ISO 9126软件质量模型(软件质量模型的6大特性和27个子特性)

ISO 9126质量模型:软件质量模型的6大特性和27个子特性  ISO9126软件质量模型是评价软件质量的国际标准,由6个特性和27个子特性组成,建议大家深入理解各特性、子特性的含义和区别,在...
  • xifeijian
  • xifeijian
  • 2013年01月26日 17:12
  • 25447

代码典型缺陷分析—代码质量分析会上的报告

前几天事业部召开代码质量分析会,其中一个环节就是讲解一下一些产品的开发过程中一些代码缺陷,让我们的研发人员代码编写更加规范,是的,这个环节是我讲解的。         非常感谢部门经理给与我这个机会,...
  • chenleixing
  • chenleixing
  • 2015年03月08日 16:29
  • 1667

ISO 9126质量模型:软件质量模型的6大特性和27个子特性

ISO 9126质量模型:软件质量模型的6大特性和27个子特性  ISO9126软件质量模型是评价软件质量的国际标准,由6个特性和27个子特性组成,建议大家深入理解各特性、子特性的含义和区别...
  • for12
  • for12
  • 2015年09月22日 18:12
  • 2646

VideoClarity<ClearView>视频质量分析系统

ClearView 视频质量分析系统是美国专业的音视频测试方案提供商                 中国销售、视频测试方案、视频质量测试知识、更多信息咨询3040963362 ClearVi...
  • mazhitong1020
  • mazhitong1020
  • 2017年08月02日 10:26
  • 344

视频质量分析系统之音视频测试工具

Video Clarity视频质量分析系统 视频图像质量测试仪器ClearView是美国Video Clarity公司的产品。Video Clarity公司,美国专业音视频主观和客观质量...
  • mazhitong1020
  • mazhitong1020
  • 2017年08月02日 11:56
  • 332
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:推荐 | 电信业网络质量实时分析模型解决方案
举报原因:
原因补充:

(最多只允许输入30个字)