相爱相杀：移动联通IT支撑回忆录（七）

相爱相杀：移动联通IT支撑回忆录（七） 文 | 宁宇

　　我写的不是小说，而是我的印象和记忆中，移动与联通有关IT支撑的历史往事。

　　在十数年间，双方相互学习、相互借鉴，同时又相互竞争、相互敌视，在不同的阶段交替领跑。

　　在这些现象背后有什么深层次的原因，又是哪些偶然的因素，造就两家运营商前台营销竞争激烈，后台支撑相爱相杀？

　　容我慢慢讲这段IT往事。

　　抽丝剥茧从头学起

　　借力打力带动创新

　　相比BOSS领域的厚积薄发，建设数据仓库系统可真是从零开始。

　　中国移动是从2001年下半年开始学习数据仓库的。

　　当时，除了数据仓库的几个基本概念之外，中国移动几乎一无所知，而国内在这一领域的储备、案例也都是少之又少。

　　我们从基本概念开始，一边学习一边梳理思路，既要师从国外先进技术，又要考虑国内实际情况，既要借助厂商资源，又要避免过度依赖，这当中经历了很多波折，也发生了很多故事。

　　当时的移动，做数据仓库可谓天时地利人和：不仅有足够的资本，还有BOSS一役成功后积累起来的海量数据，更有一批想做事情的IT人。

　　我们认为，数据仓库是发展趋势，如果尽早启动数据仓库建设，可以为企业的发展储备数据、积累人才，更是在IT行业发展处于相对低谷的时候，带动其成长的好机会。

　　如今，我们可以自豪地说，当年中国移动推进经营分析系统建设，在战略上是成功的，在技术方面承前启后，为后来数据仓库、数据分析，以及当下热门的大数据，立下了汗马功劳。

　　那么，到底什么是数据仓库，和数据仓库有关的产品该如何定位、如何分类呢？

　　这些看似最基本的问题，在最初接触这一领域时，却很容易晕头转向。

　　各式各样的厂商都在讲"啤酒和尿布"的案例，都说这是自己的客户，而这个案例是自己产品的功劳；细讨论下去，才知道哪些是报表展示工具，哪些是ETL工具，哪些是做元数据管理的，哪些是建模分析用的。

　　对于我们来说，花一些时间搞清楚基本概念是必要的，但最关键的，还是怎么才能把核心数据仓库建起来。

　　十几年前，国内关于数据仓库的成功案例太少，有限的一些项目仔细看下来，不过就是个报表系统或者专题分析，鲜有真正搞大规模数据仓库建设的。

　　那时，很多公司的技术人员嘴上说的热闹，真问下去也都只是纸上谈兵，其原因也在于根本没有实践机会。

　　既然都不知道怎么做，那就摸着石头过河吧。国外的经验可以借鉴，但不能也不会照搬过来。

　　如今回头来看，在中国移动的经营分析系统建设中，有很多创新，有很多尝试，当时看起来非常大胆，但核心都是如何围绕中国移动的特点，解决中国移动面临的问题，得出的解决方案。

　　首先，是数据仓库系统建设模式的选择。具体来说，就是建多少个数据仓库？

　　最初，几乎所有厂商都认为，中国移动会建一个完整的数据仓库，因为数据越全，数据仓库的价值越高，能做的分析越多，这是数据仓库建设的基本模式。

　　但当他们了解到中国移动的数据量之后，都觉得自己的产品难以满足。

　　当时，中国移动的全网用户已经上亿，全球还没有这么大规模的数据仓库建设案例。

　　有一次，一位微软的专家来介绍产品，被我们质疑其产品对大数据量的支持程度，专家急了眼，对我们说："你们总在质疑我们的产品是否支持TB级的数据处理，其实我们很怀疑，你们的数据有没有达到TB级的规模。"

　　这句话，如今听起来也许觉得可笑，可当时的技术水平确实如此，到了TB规模，很多产品就已经顶不住了。

　　于是，我们选择了31+1的模式，就是在31个省里建设省级经营分析系统，同时在总部建一级经营分析系统。省级经分为省公司的营销、服务做数据服务和分析支撑；一级经分为总部的管理和决策做支撑服务。

　　这种系统建设模式，既解决了技术约束的问题，也与中国移动的经营管理模式匹配，当时在全球算是独一份了。

　　更具挑战性的是一级经分的建设。

　　如果把全国全部数据纳入进来，技术方面不支持；但如果只拿汇总数据建库，数据的准确性以及分析的颗粒度等方面受限，一级经分的价值也会降低。

　　最终，我们的解决方案里，除了全量的汇总数据之外，移动的一级经分系统还以抽样方式，从省级经分那里获取部分细节数据。

　　这些抽样的细节数据，既可以用于某些场景的分析，还能用来对省级系统上传的数据进行验证，在一定程度上限制省公司作假的空间。

　　从今天往回看，似乎没有必要在每个省都建一套经分系统。毕竟，各地的竞争情况不一样，有些省公司也反映过，说他们的分析需求并不急迫，建设经分系统带来的投资压力大，对技术的要求也高，对于他们来说过于超前。

　　但换个角度看，经分系统的建设和运营也是一种练兵。数据、人才和能力的储备是面向未来的，是需要长期、持续进行的，时至今日，我仍坚持自己的判断--十年前在这方面就开始投入，是值得的。

　　第二个问题，是数据仓库建设的技术方案选择，具体来说，就是建什么样的数据仓库。

　　在当时，数据仓库建设有两个流派。

　　一个是以IBM和ORACLE为代表的应用派，技术理念是面向应用进行数据的获取和建模，类似于我们说的数据集市；把一个个数据集市建起来了，也就成了数据仓库。

　　另一个流派是以NCR（后来的TARADATA）和SYBASE为代表的，认为要把数据仓库建起来，再根据应用的情况调整分析模型、优化数据仓库结构。

　　基于当时的情况考虑，中国移动总部将后者作为首选合作伙伴。

　　其一，如前所述，中国移动数据仓库系统的建设，是在业务驱动不足的情况下开展的。如果比较多地依赖应用来推动建设，那么建设周期会比较长，而且建设规模也不一定大，难以达成"通过系统建设沉淀数据"的目的。

　　换句话说，“以数据为核心，先建数据仓库再做应用”的建设模式，与数据仓库的建设战略规划更匹配。

　　其二，在国内外各方均无太多成功经验的情况下，NCR公司展示了他们经过几十年海外客户的经验积累，最终形成的电信行业数据模型。

　　如果利用这一模型建设中国移动的数据仓库，无疑是直接站在了巨人的肩膀上，可以极大地减低我们摸索试错的成本，缩短建设周期。

　　在中国移动总部编制规范的过程中，NCR立下了汗马功劳；他也因此获得了商业方面的巨大成功。如果说，BEA公司是BOSS时代退信三层架构时的受益者，那么NCR在移动经分系统领域的成功，则是其努力和贡献所收获的成果。

　　此外，IBM和ORACLE公司依靠其强大的技术后盾和市场营销能力，也在经分系统建设中分了一杯羹。

　　借助合作伙伴的力量，中国移动的数据仓库用了不到五年的时间，就走完了海外三四十年才经历的道路，一举建成了全球规模最大的数据仓库体系。

　　然而，随之而来的也有质疑：做项目不能只为了拿奖，搞创新不能只为了作秀，做企业在商言商，更要看IT系统带来多少经济效益。

　　高大上的经分系统一度面临巨大的压力，这个压力如何体现，又如何破解？我们下回再说。