Hadoop+HBase+ MapReduce

        对于Hadoop分布式文件系统本身来说，重要的出发点在于硬件故障是常态，不是非异常的状态，我们可以摒弃采用IBM小型机方案，Hadoop中数据可以自动复制，一份数据可以复制成三份，第一份在一台 服务器上，第二份数据在另外一台机架的另外一台服务器上，第三份数据可能在另外一台机架的另外一台服务器上，作为分布式文件系统，每次请求写入的 磁盘和服务器物理地点可能不一样，可以带来高并发的读写请求。

　　MapReduce框架分成很多数据级，最后再合并处理。HBase分布式数据库是分布式存储系统，主要特点在正它是四维存储系统，传统的数据库是二维表的结构，有行、有列，对它来说，除了有行之外，有列的概念，在列和行之间又可以存放多个版本，在这种情况下相当于四维表结构，好处在于可以灵活的表格结构，每个列组里面的列后来都可以随机应变，我们的采集系统现在在采集一些字段，未来的发展过程中，为了数据挖掘的需要，会采集更多的字段，方便我们在一个结构之下进行更多信息的存储以及后续的处理工作。

　　HBase本身利用自动复制机制保证Hbase本身存储的高可靠性。我们会做一些数据挖掘工作，除了采用MapReduce技术之外，还采用数据仓库技术，针对海量数据进行高性能查询和分析工作。中国联通已经构建了一个全国集中的一级架构海量数据存储和查询系统，第一，是一级架构，全国所有用户所有上网记录数据都放北京数据中心里，在国内电信行业当中也是首创的方式。

　　另外一个方式，首先将开源Hadoop、Hbase技术应用商用电信服务系统中来，开源的软件架构基本上没有商用系统的，但是这次是商用系统，系统的构成，包括数据采集、数据入库、数据存储、数据查询和数据分析技术，基本技术采用Hadoop，目前上网记录数据存储一般不小于30分钟，30分钟之前的上网记录现在可以通过我们系统查询到。