云原生离线实时一体化数仓建设与实践

最新推荐文章于 2024-09-10 17:33:52 发布

阿里云技术

最新推荐文章于 2024-09-10 17:33:52 发布

阅读量449

点赞数 1

文章标签： big data hadoop 数据分析

本文链接：https://blog.csdn.net/weixin_43970890/article/details/124826943

版权

本文介绍了云原生离线实时一体化数仓的建设难点、技术演化、阿里巴巴的实践以及参考架构。重点强调了实时数仓的实时性、融合性、业务解耦和成本优化的需求，并探讨了未来实时数仓的核心趋势，如一站式数据平台、敏捷化数据开发和在线化数据服务。阿里巴巴通过MaxCompute、Hologres和Flink等技术，实现了成本降低和性能提升。

摘要由CSDN通过智能技术生成

正文：

本篇内容将通过五个部分来介绍云原生离线实时一体化数仓建设与实践。

一、离线实时一体化数仓建设难点
二、离线实时一体化数仓技术演化
三、阿里巴巴离线实时一体化数仓建设实践
四、离线实时一体化数仓参考架构
五、未来实时数仓核心趋势展望

一、离线实时一体化数仓建设难点

随着时代的发展，数据分析由通过实时大屏洞察业务变化，逐步转向数据决策和数据在线转化。实时数据的精细化运营，让每个人对数据需求，出现了指数级增长。另一方面，数据在线推荐，风控系统也严重依赖于实时数据，数据分析的力度和强度有着显著地提升。

面对蓬勃发展的数据需求，我们的数据架构也变得越来越复杂。无论是订单数据，还是行为数据，它们都通过消息中间件采集，然后经过多条加工链路。一份数据经过离线，实时，在线之后，会产生多份数据集。这套架构让运维成本，开发成本变得很高。

整个架构高成本的背后是因为有多套组件和多套存储。而多套存储带来了多份数据孤岛，导致数据的一致性无法保障。每个系统都有自己的运维方式，开发方式和使用方式。从而增加了运维成本和学习成本。

当我们回顾计算机行业的发展。在60年代，每个程序员在开发系统时，都需要自己通过离散文件，网络文件或层级文件存储状态。在80年代，大家可以通过描述的方式分析数据。到了大数据时代，数据的存储方式多种多样，同样一份数据在各个引擎里有不同的选型。虽然不同的技术在可扩展性，并行能力，吞吐能力上有所不同。但至今为止，我们分析问题的方式并发生没有本质变化。所以我相信随着数据技术的进步，数据存储还会有一个融合的过程。

我认为数仓平台的时效性有两个概念，即实时和准时。其中，只有机器做决策的场景需要实时。比如端到端数据产生和延迟，大屏风控，计算延迟，事件驱动等等。而人类做决策的时间，一般以分钟/小时/天/月为准，极度新鲜的数据并不影响人类决策的本质。只有改变决策结果的系统，才是优秀的实时系统。比如海量数据的灵活分析，自助分析等等。