项目经验-段云峰

项目一：中国移动数据仓库系统建设
项目简介（功能与用途）：
2001年开始主持设计和建设中国移动的数据仓库系统，在国际上创新性地提出了分级式数据仓库理论，并据此理论构建了目前国际上最大的数据仓库系统（1416TB存储容量），在国内首次大范围地围绕电信行业特点，引入了数据仓库的各项业务应用。该项目前后投资几十亿元人民币。
本项目包括：分级式数据仓库的构建，对基本层次结构、系统功能、专题分析、系统管理、与外部系统的接口、指标要求等方面进行了设计和实现，在功能上涵盖了客户发展情况分析等九大主题。
为了屏蔽各种源系统的差异性，设计并实现了数据仓库系统与数据源系统（如BOSS系统）间的接口。同时，依据实体-关系建模理论、遵照第三范式，设计并实现了中国移动数据仓库底层实体-关系逻辑数据模型。对数据仓库系统中的指标进行了重新梳理，从而避免了歧义的产生。同时，构建了数据质量管理体系。
中国移动数据仓库系统包括两方面的内容：每级数据仓库系统和分级体系管理两个部分。
中国移动每级（一级和二级）数据仓库系统系统建设主要包括： ETL子系统、数据仓库子系统、OLAP和数据挖掘子系统、与源系统接口子系统、指标子系统和逻辑模型子系统等。ETL子系统包括数据导入数据仓库的抽取、转换和加载过程；数据仓库子系统主要包括数据仓库的主题设计等基本内容；OLAP和数据挖掘子系统包括有关的主题分析内容、CUBE的设计、数据挖掘算法选择等方面内容；与源系统接口子系统包括与BOSS系统的详细接口定义；指标子系统对数据仓库系统涉及的指标内容进行了详细梳理和定义；逻辑模型子系统对数据仓库系统的两级数据仓库的逻辑模型进行了详细定义，对于统一数据仓库的数据结构具有十分重要的作用。
分级体系管理方面，包括一级与二级数据仓库系统间的接口管理、数据质量控制体系等内容。接口管理方面对有关的抽取数据内容给出了详细的定义和描述，数据质量控制体系则给出了有关的详细数据定义口径，并给出了一些数据质量运算方法。
通过数据仓库系统的建设，能够实现如下一些方面的价值：
1） 提高中国移动的快速响应能力
通过建立中国移动的两级数据仓库系统，中国移动总部可以通过抽取省公司的详细数据进行运算，隔天就可生成全国的各种管理报表，实现准实时地了解全国市场的实际运营情况。
2） 提高中国移动的精确化管理水平
通过数据仓库系统的建设，对中国移动在收入方面的数据进行了详细地梳理，提高了企业自身的管理水平，能够针对很多问题给出十分精确的数据分析报告。
3） 提升中国移动的精确化市场营销能力
通过数据仓库系统建设工作，对市场进行了细分，对客户群体进行了深入的行为研究，这些工作有力地支撑了市场营销的精确化能力，提高了中国移动的市场竞争能力。

项目难点与解决方案：
1． 如何存储海量数据的问题
通过分级式数据仓库，解决海量数据仓库的数据存储、工程建设问题。同时，通过统一的数据仓库逻辑模型，解决数据仓库的有效数据管理问题。
2． 如何提供数据仓库的业务应用问题
数据仓库项目如何与国内电信领域的业务应用进行结合？如何能够为电信企业提供实际的业务价值？是该项目面临的一个重要难点之一。通过大量的调研，并结合国际先进经验，提出了围绕电
信业务特征的OLAP九大主题分析等一系列业务应用，解决了数据仓库的业务应用问题。
3． 如何管理海量数据仓库的问题
如何管理如此海量的数据仓库？这在国际上都是一个难题。首先建设了总部的一级数据仓库系统，并从省级数据仓库定期抽取各种数据，然后通过对这些数据进行了全面的稽核和数据检查工作，实现在业务层面的数据仓库数据管理工作。

项目成功与失败的经验归纳：
1．数据仓库的人才培养十分重要
在数据库领域，人才的价值十分重要，同样的数据，如果没有专家的分析可能就是废物，不会有任何含义；而如果经过专家的分析，可能得出很多的意想不到的结论。例如美国零售领域的“啤酒和尿布的例子”，通过分析用户购买的产品清单，发现很多人在买尿布的同时，也购买啤酒，通过将两种商品的相近布局，提升了两种产品的销售额。因此，人才队伍的培养，对于数据库领域的发展，具有十分特殊的作用。目前而言，国内已经初步培养了数据仓库领域的技术人才，但集中在数据仓库工具的使用和数据仓库的建设等专业领域，而在数据仓库应用领域，人才十分匮乏。

2．数据仓库项目是企业的“一把手”工程
数据仓库涉及到企业的各个方面，与企业管理的业务流程和组织机构都有十分密切的联系，如何保障数据仓库的数据质量，如何确保数据仓库的分析效果能够对企业发挥真正的价值等等方面，都需要企业内部的管理架构和业务流程进行相应的调整，因此在管理方面，需要“一把手”领导进行相关的调整工作。

3．国际上数据仓库在理论研究方面仍有不足
目前，国际上数据仓库热衷于研究数据挖掘新的算法等方面的工作，而在海量数据仓库体系结构设计方面仍显不足。在业务应用领域，与实际的行业业务应用结合也仍显不足，很多内容仍认需要在具体实践过程中进行总结和积累。

你在项目中岗位与贡献：
本人是本次项目的项目负责人，承担了本次项目的总体设计，负责进行整体项目的实施管理工作等。
本人解决了如何构建最大容量数据仓库的理论设计问题，并系统地提出了电信行业的数据仓库业务应用内容。通过管理、建设国际最大的数据仓库系统，引导了国内首批数据仓库厂商进入电信行业的数据仓库领域，培育了国内数据仓库产业的发展。
在项目的建设、管理过程中，解决了数据质量管理等很多具体技术难题；通过引入大规模的数据仓库业务应用，解决了数据仓库如何与企业业务应用相结合的关键问题；完成了中国移动数据仓库项目管理团队的建设工作，积累了国内在大型数据仓库项目组织、管理方面的宝贵经验。


项目二：中国移动总部数据仓库系统项目
项目简介（功能与用途）：
为了更好地对各省级数据仓库进行管理，中国移动进行了总部数据仓库系统项目建设工作。通过建设总部的一级数据仓库系统，对省公司的二级数据仓库系统进行管理工作。总部的数据仓库是建立在对二级数据仓库系统数据提取的基础上，从二级数据仓库提取了大部分的关键业务详细数据。目前总部的数据仓库容量达到了几十个TB，投资超过了上亿元。
通过建设一级数据仓库系统，完成了与二级数据仓库的数据接口设计和管理工作，完成了二级数据仓库数据质量稽核功能，对总部的业务功能进行了全面的支撑，提升了总部对全网业务的精细化管理和控制能力。
通过总部的一级数据仓库项目，全网的大部分业务报表都是通过总部从省公司抽取详细业务数据，自己计算后自动产生。这就避免了省公司人为数据调整后，再汇总报表上传到总部的过程，大大地提升了全国业务数据的真实性和准确性，为总部的精细化管理提供了技术基础。
同时，通过一级数据仓库系统，能够对全网的业务运营情况进行有效的监控，提供了很多有价值的业务应用，例如与各省公司间的漫游结算分析等内容，可以大大提高总部的业务监管能力。
通过建设总部的一级数据仓库系统，能够提供如下一些方面的价值：
1． 提升数据的准确程度
通过直接抽取二级数据仓库系统的详细数据，然后产生各种所需的业务报表，极大地提升了数据的准确程度。
2． 加强了总部的业务监管能力
通过对二级数据仓库系统的数据进行详细分析，能够发现很多有价值的业务信息，及时发现业务运营中出现的问题，然后针对性地进行管理工作，降低了企业运营的风险。
3． 强化了总部的精细化管理能力
通过一级数据仓库系统，能够对省公司进行各项管理方面的精细化分析，降低整个公司的运营成本，提升精细化管理能力。

项目难点与解决方法：
1． 如何解决二级数据仓库系统的数据标准化问题
通过制定详细的指标解释，明确各种数据指标的定义和要求，并通过大量培训工作，确保各省公司熟悉掌握这些数据要求。
2． 如何解决数据质量监控问题
根据业务要求，设定了数据指标间的很多监控业务规则，通过一些关键的算法，判断省公司上报数据的准确程度，及时发现问题并纠正问题。
3． 如何进行业务分析和监控工作
通过提供的OLAP分析和部分数据挖掘应用，对全网的业务运转情况给出了较详细的分析内容，通过这些分析，业务人员能够及时发现省公司经营活动中的问题。

项目成功与失败的经验归纳：
1．数据仓库的数据质量是个关键的问题
在项目的初期，通过一级数据仓库系统，发现了很多二级数据仓库的数据质量问题，通过数据质量的提升工作，提升了两级数据仓库的数据质量，为后续的业务应用推广奠定了技术基础。
2．需要提升业务人员的数据分析能力
由于数据仓库能够从多个角度反映很多的数据，而业务人员仍然习惯于使用传统的二维报表，因此有必要通过培训，提升业务人员的数据分析水平，确保数据发挥出更多的应用价值。
3．建立数据仓库管理机制十分关键
为了确保一级数据仓库的数据质量，需要和省公司一起建立完善的数据管理机制，确保专人负

责专门的工作。

你在项目中岗位与贡献：
本人负责了项目的总体设计工作，并承担了部分的项目管理工作。
解决了数据传输和质量保障机制，建立了相应的数据接口管理人员队伍。
进行了数据质量稽核方面的工作，完成了部分数据挖掘算法的设计工作。
协助业务人员需要，进行了业务应用的设计和使用工作。


项目三：基于元数据的数据质量管理系统
项目简介（功能与用途）：
随着中国移动数据仓库系统价值的不断显现与稳步提升，以及IT系统安全管理、风险内部控制等重大管理举措的实施，各省公司对省级数据仓库系统如何保障数据质量提出了更高要求。为更好地及时分析、查找、评估和解决省级经营分析系统各环节的数据质量问题，保证数据质量的稳定可靠，中国移动在元数据基础上，构建一套数据仓库系统内部控制的管理体系，为数据质量管理工作提供强有力的系统支撑。
通过该数据质量管理系统，能够有效地查询各种业务指标的来龙去脉，能够分析系统变更对各种业务报表的影响情况等。
通过建设基于元数据的数据质量管理系统，能够完成如下一些方面的意义：
1． 便于迅速、准确地查找数据质量问题
通过元数据的方法，可以建立数据质量跟踪管理地图，便于及时对数据质量的问题进行定位，然后发现并解决该问题，大大地提高了效率，降低了系统风险。
2． 为数据仓库数据质量的长期稳定提供了技术基础
数据仓库的核心是数据质量，如果没有稳定的数据质量，业务应用根本无法谈起。
3． 解决了困扰数据仓库发展的长期问题
数据仓库中的数据质量问题是长期困扰业界发展的关键问题之一，通过引入元数据技术，提供了一种不错的解决方法，为数据仓库的长期发展奠定了基础。

项目难点与解决方法：
1． 元数据的技术内容
元数据相关内容比较复杂，其中的CWM国际标准在2002年才公布，国际上尚没有大规模使用元数据进行数据仓库数据质量管理的先例，因此，可借鉴的内容十分少。依靠中国移动的研发力量，我们完成了元数据的有关技术研究和积累。
2． 如何提供业务应用
在元数据基础上，如何提供基于数据质量方面的业务应用，十分关键。通过大量的调研，并安排部分省公司进行了试点工作，我们解决了这个问题。
3． 如何解决人员知识不足的问题
由于元数据知识比较复杂，国内人员研究的比较少，因此我们通过大量的培训工作，提升了中国移动内部员工在元数据方面的背景知识。

项目成功与失败的经验归纳：
1． 元数据对于数据仓库十分关键
元数据是数据仓库技术中一个十分重要的部分，元数据对于数据仓库的管理起到了关键作用，而数据仓库本身就是侧重管理方面的一个技术。
2． 数据质量是个系统工程
数据质量涉及到各个方面，不及有技术部分，而且也涉及到业务部门和管理部分。
3． 数据质量管理人才培养十分重要
在数据质量领域，目前国内才刚刚开始，人才十分匮乏，只有通过大量的培训，才能提供较好的人才。

你在项目中岗位与贡献：
本人承担了项目的总体设计工作，并承担了部分项目管理工作。
从2003年开始，本人就着手进行数据质量管理系统的总体设计工作，再完成项目设计工作后，安排了两个省公司进行项目试点。本人不仅从战略角度提出了基于元数据的数据质量管理系统的设


计管理工作，而且也提出了部分关键的理论，解决了很多在实施过程中面临的部分难题。