ytp552200ytp的博客

问题导读：1、为什么要做Flink和Hive集成？2、Flink 1.11中的新特性有哪些？3、如何打造Hive批流一体数仓?导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink 1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。本文主要分享在Flink 1.11中对接Hive的新特性，以及如何利用Flink对Hive数仓进行实时化改造，从而实现批流一体的目标。主要内容包括： Flink与Hive集成的背景介绍..

问题导读1.Flink 1.11 有哪些新功能？2.如何使用 flink-cdc-connectors 捕获 MySQL 和 Postgres 的数据变更?3.怎样利用 Flink SQL 做多流 join 后实时同步到 Elasticsearch 中？1 Flink 1.8 ~ 1.11 社区发展趋势回顾自 2019 年初阿里巴巴宣布向 Flink 社区贡献 Blink 源码并在同年 4 月发布 Flink 1.8 版本后，Flink 在社区的活跃程度犹如坐上小火箭般上升，每个版本包含的.

目录数仓架构离线数仓实时数仓Hive 实时化Hive streaming sinkHive streaming source实时数据关联 Hive 表Hive 增强Hive Dialect 语法兼容向量化读取简化 Hive 依赖Flink 增强Flink Filesystem connector引入 Max Slot简介：Flink 1.11 中流计算结合 Hive 批处理数仓，给离线数仓带来 Flink 流处理实时且 Exactly-onc.

Flink SQL Demo: 构建一个端到端的流式应用本文将基于 Kafka, MySQL, Elasticsearch, Kibana，使用 Flink SQL 构建一个电商用户行为的实时分析应用。本文所有的实战演练都将在 Flink SQL CLI 上执行，全程只涉及 SQL 纯文本，无需一行 Java/Scala 代码，无需安装 IDE。本实战演练的最终效果图：准备一台装有 Docker 的 Linux 或 MacOS 计算机。使用 Docker Compose 启动容器本实...

1、Flink 从入门到实战 - Scala/Java双语言版本1 核心知识点编程模型及核心概念Flink中的DataSet & DataStreamFlink编程模型、延迟执行Flink中支持的数据类型DataSet API编程DataSet中的Data Source、SinkTransformation核心应用计时器/分布式缓存 实现DataStream API编程DataStream中的Data Source及自定义实现Sink及自定义实现Transformation核心应用Flink Tab

问题导读：1、如何配置 Flink 进程的内存？2、如何配置总内存？3、如何配置 TaskManager 内存？4、如何配置堆内存和托管内存？Apache Flink 基于 JVM 的高效处理能力，依赖于其对各组件内存用量的细致掌控。考虑到用户在 Flink 上运行的应用的多样性，尽管社区已经努力为所有配置项提供合理的默认值，仍无法满足所有情况下的需求。为了给用户生产提供最大化的价值， Flink 允许用户在整体上以及细粒度上对集群的内存分配进行调整。本文接下来介绍的内存配置方法适用于1.10及以上版本..