迎各位关注我的个人微信公众号:赶令,将会定期更新大数据相关知识及个人心得
虽然数据中台已经提出很久了,但很多中小型企业还是停留在传统数据库或者简单的数据仓库阶段。随着DT时代互联网、智能设备及其他信息技术的发展,数据爆发式增长,各种结构化、半结构化、非结构化数据不断的产生。在新环境下,数据应用呈现出数据来源多、业务变化快、系统耦合多、应用深度深、大数据组件复杂多样等特征。如何将这些数据进行有序、有结构地组织和存储是企业面临的一个挑战。
那么基于以上特征,改如何构建数据中台?可以从方法论、产品+工具、实施流程三方面入手。
数据中台体系既包含数据技术平台,也包含数据标准、数据建模、数据开发、数据应用等。通过建设数据中台,规模化的服务数据开发者、数据分析者及业务使用者,保证数据稳定、可信、丰富、透明。稳定要求数据产出稳定、有保障,可信要求数据的质量足够高,丰富要求数据涵盖的业务足够丰富,透明则要求数据构成流程体系透明,让用户放心。
方法论主要是指在设计工作中遵循一些约定的原则,比如数据标准化、主题式数据服务、构建唯一id贯穿整个数据连接等。
产品+工具使设计、开发及使用更便利,比如我们制定了数据标准、开发标准等,如果没有工具进行约束而是通过文档约束,在设计和开发时很容易会忽视所谓的标准而导致数据及开发不统一等情况。大数据组件成百上千,使得开发运维等成本高,通过数据pass产品可以让数据管理者、开发者、使用者等不需要花大量时间学习各种组件、组件之间的切换等成本,可以让他们更多的去关心数据及业务本身。
实施流程应该包括需求调研、需求分析、架构设计、数据开发与单元测试、部署冒烟测试、运维等。