大数据量分析统计——电信经营分析项目心得

众所周知，在电信行业，通话清单数据量非常大，因为用户每次通话交换机都会产生一条数据，数据保存的方式是放在文件。如果将数据文件导入到数据库中，很容易使数据量达千万级的数据库，另由于其它基础信息会放在其它表中，如果按照传统思维，进行简单的关联统计，数据库基本将无法统计出结果，即使是用小型机来运算，得到结果也是几天后的事情了。而用户最多只能等待20秒就需要了解结果，显然传统的简单的分析统计方法是无法实现大数据量的统计分析的。那如何对如此庞大的数据库进行统计分析呢？本人下面以Oracle数据库为例进行分析。

 

一、分析过程概述

       由于大数据量，在数据处理时，遵守的原则是，尽量将数据按各种分类分离，使得在各分类分析时，数据量最小。所以，在进行清单到报表的处理时，通常经过数据的清洗入库，分类合并得出中间结果，最后关联统计出结果数据。用户在查看报表时，已经是简单的由结果数据中查询各种数据。

 

二、分步详述