Deepexi_Date的博客

一、引言在上期的两篇连载文章中，我们分析了Lambda 和 Kappa 架构固有的一些问题，同时也引出了流批一体架构的优势，本文就 FastData流批一体大数据平台DLink ，如何基于 Flink + Iceberg 流批一体技术及其实践进行初步探讨。二、需求背景传统的基于离线（比如 Hive）数仓有很高的成熟度和稳定性，但在一些时延要求比较高的场景，则需要借助实时数仓 Flink 的帮助，将延时降低到秒级（或分钟级），但两套并存的数仓架构，势必带来双倍的资源消耗和开发维护工作量。那么，是否存在.

在大数据技术发展早期，离线计算（批处理）作为唯一的大数据处理技术，很快在各个场景下取得了惊人成果，吸引了一大批优秀的科学家和工程师，这些因素的叠加使大数据技术快速成熟，形成了以HDFS+YARN+Spark为格局的Hadoop生态体系。同时，离线计算也成为了大数据的主流技术，但在由Hadoop构筑的离线计算大厦上空，却也飘着几朵乌云，其中一朵就是高延迟。1. 流处理架构产生的背景Hadoop在设计之初便确定了架构目标：高吞吐、高容错、易扩展。而高吞吐和低延迟又在一定程度上对立，因此早期Hadoop在.