基于 Flink SQL 构建流批一体的 ETL 数据集成

最新推荐文章于 2023-11-22 15:27:33 发布

菜鸟蜀黍

最新推荐文章于 2023-11-22 15:27:33 发布

阅读量870

点赞数

分类专栏：数据治理 Flink 文章标签：大数据数据仓库人工智能

本文链接：https://blog.csdn.net/u013522009/article/details/123924894

版权

数据治理同时被 2 个专栏收录

22 篇文章 27 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

Flink

3 篇文章 1 订阅

订阅专栏

本文详细介绍了如何利用Flink SQL构建流批一体的ETL数据集成，强调了Flink在数据仓库和数据集成中的作用。Flink通过原生支持CDC，强化维表JOIN能力，以及流式写入Hive等功能，简化了数据接入、数据转换和数据入仓的过程，实现了实时与离线数据仓库的统一，提高了数据一致性和时效性，降低了维护成本。文章还探讨了Flink在数据接入（包括数据库和日志接入）、数据入仓湖（如流式入Hive和Iceberg）、数据打宽（使用Regular Join、Interval Join、Temporal Join等）等方面的应用和优势。

摘要由CSDN通过智能技术生成

数据仓库与数据集成

数据仓库是一个集成的（Integrated），面向主题的（Subject-Oriented），随时间变化的（Time-Variant），不可修改的（Nonvolatile）数据集合，用于支持管理决策。这是数据仓库之父 Bill Inmon 在 1990 年提出的数据仓库概念。该概念里最重要的一点就是“集成的”，其余特性都是一些方法论的东西。因为数据仓库首先要解决的问题，就是数据集成，就是将多个分散的、异构的数据源整合在一起，消除数据孤岛，便于后续的分析。这个不仅适用于传统的离线数仓，也同样适用于实时数仓，或者是现在火热的数据湖。首先要解决的就是数据集成的问题。如果说业务的数据都在一个数据库中，并且这个数据库还能提供非常高效的查询分析能力，那其实也用不着数据仓库和数据湖上场了。