目录
传统数据开发模式
传统数仓、数据中台的开发,没有有效的开发工具,大多是用SQL脚本硬编码实现,是与一般软件项目类似的反复迭代模式:
传统数据开发模式的痛点
1.
平均响应周期长(
2周以上
)
2.大量成本浪费在反复沟通的过程中,难以形成随时可用的元数据
3.
开发成本指数增长,几百人月,几千人月,项目如果出现较大变更,往往完全失控
4.
业务逻辑碎片交织,互相影响
5.
脚本堆积积累、数据质量问题难以治理
6.
严重依赖
专业技术人员
,
制约业务创新
7.大数据难以进行详尽测试
新型数据中台带来的变革——交互式开发
交互式开发带来的好处
1.
需求变更平均响应周期
1天
2.
开发成本下降,几万,几十万
…
3.
原子化,相互独立不干扰
4.
数据质量持续优化改进
5.
自助开发、协作开发,释放业务自主创新能力
-
需求开发一体化:
通过使用可视化的数据流管理和语义化表达式语法,不太复杂的需求可以直接在沟通业务需求时即时开发。快速实现数据流转和复杂加工,从而大幅减少代码量,缩短开发周期。
-
技能门槛:
通过屏蔽底层数据库差异,统一的语义化表达式语法,大大降低了技能门槛、也屏蔽了不同数据库、计算引擎所需的多种技能储备,允许更多具备业务理解和具备初步技能的人员实现自助开发、协作开发,释放业务方的自主创新能力。
-
业务可视化和流程自动化:
提供了更好的数据可视化,帮助业务人员理解和定义数据开发需求,并支持数据流程自动化的开发。
-
开发速度提升:
通过使用可视化的数据流管理和语义化表达式语法进行开发,可以快速实现数据流转和复杂加工,大幅减少代码量,缩短开发周期。
-
技术复杂度和编码需求:
通过可视化编程工具和拖拽界面方式简化编码过程,大幅降低了数据开发复杂度;再使用语义化表达式进行开发,从而大量减少了编码需求。 -
灵活性和可扩展性:
原子化使数据开发逻辑清晰透明,可灵活组合、扩展,每个指标之间相互独立无干扰。 -
维护性和可扩展性:
提供了对象化、原子化的数据结构和数据,大幅提高了数据架构的可维护性和可扩展性。 -
安全性:
清晰透明的数据血缘、数据加工逻辑可以使加工过程中的数据安全同样清晰透明,方便对各层数据统一进行安全管理。 -
依赖性:
对于可能带来的依赖性问题,新型数据中台的开发不只可以在新型数据中台上运行。也同样可以将编译生成的最终代码打包脱离平台运行,从而避免平台依赖。 -
开发成本:
大幅降低开发成本,因为减少了编码工作量并通过原子化、透明血缘使数据逻辑清晰易懂,从而提高了开发效率。
综上所述,新型数据中台通过开发模式变革在提高开发速度、降低技术门槛、减少开发成本、灵活性、可扩展性和安全性方面等方面都具有明显优势。
新型数据开发模式可以让企业降低开发成本、为实现企业数字化转型、形成新质生产力和可持续发展的数据资产带来更多便利,使大数据更容易!