打造“数据金字塔”，小米大数据平台建设之路

提到小米，我们首先想到的这是一家互联网企业，主要产品除了手机，还有如空气净化器，净水器，小米手环等智能化产品。从某种角度来说，小米已被打上了智能家居和技术创新标签。其实，小米能有今天的发展，大数据平台在其中扮演了最重要的角色。

提升效率，小米大数据平台构建之初

什么是大数据平台?对于大数据概念，很多人都能理解，最典型的特征就是数据量大、数据复杂，需要借助专业工具才能在合理的时间内帮助企业撷取、管理、处理并整理成为有价值的信息。而大数据平台，需要在大数据基础上，以一个平台的形式，形成一整套解决方案，比如：数据接入、数据处理、数据存储、查询检索、分析挖掘等、应用接口等，是一个统一体。

当然，不同类型的企业，大数据特色各不相同。小米公司经过8年的发展，积累了海量的日志和用户行为数据，已形成全生态，多样性的数据资产。小米的数据来源于硬件、软件和大量的互联网服务，每天有超过万亿级的日志，数据异构性非常强。如何处理和发挥这些异构数据的价值?是小米大数据团队最大挑战!

所以，构建一个全面集成的大数据平台，成为小米技术变革道路上的新征程，也是大数据团队所有人员的最神圣使命。

小米大数据负责人司马云瑞

谈到大数据平台建设，小米大数据负责人司马云瑞，如数家珍。这可能和他过去的从业经历，不无关系。2005年毕业后，司马云瑞在微软亚洲工程院、微软亚太研发集团负责云服务和大数据相关工作。期间从事过前端、中间件、服务器、云计算、数据工程、数据科学、数据产品等不同类型的开发工作。

对司马云瑞个人而言，微软的从业经历让他实现了职业生涯中的三个重大跨越。第一，通过对技术深度和广度的掌握，具备了对技术边界的判别能力，并能从架构美学角度看待技术问题。第二，是对产品和业务能力的掌握，让他具备了技术落地能力;第三，重塑技术思维模式，以业务的角度看待问题，更具商业掌握能力。

经过十年的历练，司马云瑞在2014年加入小米，主攻方向是数据平台、用户画像和数据应用。数据平台的目的是：把数据管理、治理好，并提供工具帮助业务团队高效地使用起来;用户画像的目的是：把公司关键的数据做好;数据应用的目的是：把数据用起来，赋能核心业务领域。

拥抱开源，打造“数据金字塔”

小米的大数据平台构建，始于五年前。在设计之初，小米就大力拥抱开源技术，尤其是Hadoop生态。此外，小米在Hbase，Spark，kudu等关键技术领域，也做了大量的投入，并且把自己在开源方面的贡献反馈给开源社区。

之所以要建大数据平台，最主要的目的是提升效率，实现数据的一致性，并且要满足数据质量提高和合规方面的要求。通过构建小米的数据治理体系——“数据金字塔”，打造统一的大数据架构，将数据的采集、处理、应用等各个步骤标准化，全面提升数据质量、一致性和开发查询等应用的效率。数据平台不仅提供强大的技术支撑能力，还要为所有业务赋能。

至于，为什么要选择开源技术?是因为小米有自己的大数据分层体系和架构。在做技术选型的时候，首先要看新的技术对需求的满足程度，然后再看和现有体系的契合度，而开源技术和Hadoop体系，能大大降低小米的改造成本和学习成本。

大数据平台上线后，我们可以看到两个最重要的价值：一是效率。整体数据治理体系初步成型后，开发效率有大幅地提升，查询效率有一至两个数量级的提升，让公司的业务层更易于使用数据。二是创新。数据平台解决了以往数据孤岛问题，把所有数据都汇总起来，并拥有了一致化体验。其中产生大量的创新机会，比如：互联网金融基于异构行为数据进行信用风险的判别，就是一个典型的例子。

万变不离其宗，大数据平台要为业务赋能

为了避免企业在大数据平台构建中“采坑”，司马云瑞总结出自己的心得体会。首先，企业内部做数据平台，要有打破数据孤岛的意识;其次，要乐于和善于使用开源技术和既有的优秀方案;第三，要有整体的架构方向感和适用的数据治理体系;最后，也是最重要一点，要有业务思维，要明白平台要服务于业务，为业务赋能。每一项工作都应该对业务有可衡量、可评估、可持续改进的效用。

小米的大数据平台在为业务赋能方面，非常具有参考价值。以现在非常火的“小爱”为例，越来越多的交互转移到用户自学习、个性化需求实现方面。小米在MIUI上发布了大量的AI能力，比如：为了提高系统性能而研发的App预测。在C端，大数据和AI正在将个性化推向极致;在B端，大数据和AI正在重构商业流程和模式。

虽然数据应用千差万别，但其实各家实现的方法大同小异。司马云瑞希望通过各种行业活动及交流会的方式，把小米的大数据平台建设经验，分享更多企业。每年的DTCC大会，是他比较喜欢的一种交流形式。从旁观者，到参与者，再到大会顾问。司马云瑞和小米，和业界更多成功企业，一路同行，携手相伴。

想要了解大数据平台建设的更多信息，请点击 DTCC2019第十届中国数据库技术大会官网：

http://dtcc.it168.com/index.html

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31545808/viewspace-2375519/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31545808/viewspace-2375519/