Flink 1.14版本的重大变更

最新推荐文章于 2024-08-30 00:57:33 发布
最新推荐文章于 2024-08-30 00:57:33 发布
阅读量94 收藏
点赞数
文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/VqhhMobile/article/details/132886266
版权
Flink 专栏收录该内容
93 篇文章 9 订阅 ¥59.90 ¥99.00
订阅专栏
Flink 1.14版本带来了重大变革，如动态表格允许用户在不停止作业的情况下修改表结构，增强了数据库连接器支持更多数据库类型，实现了动态重分区以调整并行度，优化了状态后端，还引入了新的SQL功能，提升了流处理的灵活性和效率。
摘要由CSDN通过智能技术生成

Flink 1.14版本的重大变更

Flink是一个流式处理和批处理的开源框架，它提供了高可靠性、高性能和可伸缩性的数据流处理能力。最近即将发布的Flink 1.14版本带来了一些重大的变更和改进。在本篇文章中，我们将深入探讨这些重要的变更，并提供相应的源代码示例。

  1. 动态表格（Dynamic Tables）：
    Flink 1.14引入了动态表格的概念，使用户能够在不停止或重新启动Flink作业的情况下修改和调整表结构。这样的功能可以在需要动态调整表格架构的场景中非常有用，例如在流式ETL任务中。

    // 创建一个动态表格环境
StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env)
了解本专栏 订阅专栏 解锁全文
【Flink】Flink 1.14 版本 新特性 Barrier 在流经算子做 checkpoint Barrier跳过 unaligned checkpoint
九师兄
08-08 990
1.概述 在博客 【Flink】FLink Barrier 在流经算子 做 checkpoint 的时候，数据是停止的吗？ 中，我们知道。 barrier之前的算子还会处理数据，barrier对其的时候，这个节点是不处理数据的，只是缓存数据，真正barrier的时候会停止处理数据，但是这个时间很短。 但是在新特性中，使用了新的方案，此时我想的是 你妹呀，我刚刚学会这种，然后你就又变化了。 在 Apache Flink Meetup 深圳站的视频中。参考： 这个视频中。 2. 目前状态 2.1 无限流 .
flink 1.14 异步 join 基础分析
Hello World
12-16 2040
自定义AsyncTableFunction 顺序原理
Flink从1.7到1.14版本升级汇总
Yuan_CSDF的博客
04-06 2098
一 、前言 官方发布了Flink1.14版本，但是遗憾的是，中文官网中的案例和资料还都是基于很古老的版本。所以大家照着官网资料跑不通基本代码也是很正常的。 所以整理一下从1.7 版本到1.14版本之间的相对大的变动. 做到在学习的过程中可以做到心里有数。 二 .Flink 1.7 版本 在 Flink 1.7.0，我们更关注实现快速数据处理以及以无缝方式为 Flink 社区构建数据密集型应用程序。我们最新版本包括一些令人兴奋的新功能和改进，例如对 Sc...
flink部署-1.14
第一片心意的博客
12-10 2465
本博客为 flink 1.14 官网中对 flink 部署部分的内容翻译整理。
Flink 1.14.* Flink窗口创建和窗口计算源码
最新发布
胖墩的IT博客
08-30 807
解析Flink如何创建的窗口，和以聚合函数为例，窗口如何计算聚合函数
flink-sql所有表连接器-1.13
第一片心意的博客
08-02 2049
本文基于 flink 官网翻译整理，基于1.13版本，内容十分全面
hudi-flink1.14-bundle_2.12-0.11.0.jar
06-28
hudi-flink1.14-bundle_2.12-0.11.0.jar
Flink1.14新特性介绍及尝鲜
技术专家
10-28 1519
介绍了目前社区在批流一体上的工作，通过介绍批流不同的执行模式和 JM 节点任务触发的优化改进更好的去兼容批作业； 2.分析现有的 Checkpoint 机制痛点，在新版本中如何改进，以及在大规模作业调度优化和细粒度的资源管理上面如何做到对性能优化； 3.介绍了 TableSQL API 和 Pyhton上相关的性能优化。 4.旧的表/SQL 规划器已被删除。不再支持 BatchTableEnvironment 和DataSet API与Table API 互操作。将统一的TableEnvironmen
flink-1.14.0.rar
11-11
Apache Flink是一个开源流处理和批处理框架，其1.14.0版本代表了该技术的最新进展。Flink以其高效的数据处理能力、实时计算和状态管理而闻名，广泛应用于大数据分析、实时数据流处理和复杂事件处理等领域。在这个...
Flink 1.14 源码阅读
Jhon_yh的博客
04-28 2285
目录env.execute("test Flink")getStreamGraph()StreamGraphGenerator.generate()transformationsexecute(StreamGraph streamGraph)executeAsync(jobGraph)getExecutor()execute(streamGraph, configuration, userClassloader)deployJobCluster()return deployInternal(deployIn
flink-runtime-1.14.3-API文档-中文版.zip
06-06
赠送jar包：flink-runtime-1.14.3.jar； 赠送原API文档：flink-runtime-1.14.3-javadoc.jar； 赠送源代码：flink-runtime-1.14.3-sources.jar； 赠送Maven依赖信息文件：flink-runtime-1.14.3.pom； 包含翻译后的API文档：flink-runtime-1.14.3-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.flink:flink-runtime:1.14.3； 标签：apache、flink、runtime、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
Flink版本更新汇总（1.14-1.18）
猫猫爱吃小鱼粮
12-29 4954
Flink 版本更新汇总（1.14-1.18）
4.2.2 Flink-流处理框架-Table API 与 SQL-基本程序结构（创建表环境+在 Catalog 中注册表）
敲代码的乔帮主
03-11 837
目录 1.基本程序结构 2.创建表环境 2.1配置老版本 planner 2.2配置 blink planner 3.在 Catalog 中注册表 3.1 表的概念 3.2连接到文件系统（Csv 格式） 3.3连接到 Kafka 4.代码示例 1.基本程序结构 Table API 和 SQL 的程序结构，与流式处理的程序结构类似；也可以近似地认为有这么 几步：首先创建执行环境，然后定义 source、transform 和 sink。具体操作流程如下： St...
Flink1.14知识点总结
jason_bone_的博客
02-04 858
基于文件的source算子?readFile读取文件数据,传入文本解析格式、路径、处理模式,处理模式为PROCESS_ONCE时文件读一次就推出了,PROCESS_CONTINUOUSLY时会一直监听文件,一旦文件内容变化则整体重读因此会造成数据重复读取,而readTextFile算子底层为传参固定的readFile如何理解Kafka Source细节?
Flink中Table API和SQL（四）
JiaXingNashishua的博客
10-04 1641
系统函数尽管庞大，也不可能涵盖所有的功能；如果有系统函数不支持的需求，我们就需要用自定义函数（，UDF）来实现了。事实上，系统内置函数仍然在不断扩充，如果我们认为自己实现的自定义函数足够通用、应用非常广泛，也可以在项目跟踪工 具 JIRA 上向 Flink 开发团队提出“议题”（issue），请求将新的函数添加到系统函数中。Flink 的 Table API 和 SQL 提供了多种自定义函数的接口，以抽象类的形式定义。
flink 1.14版本及以上 stream 最全env 配置
weixin_44141613的博客
08-25 420
【代码】flink 1.14版本及以上 stream 最全env 配置。
Flink-Table StreamTableEnvironment实践编程（四）中
springk的专栏
01-17 1791
六、实现RetractStreamTableSink操作 public class TableStreamFlinkStudentRetractTest { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = Stre...
flink笔记12 [Table API和SQL] 创建表环境、创建表
weixin_43631997的博客
05-11 3838
1.创建表环境 创建表环境，需要将flink流处理的执行环境传入 val tableEnv = StreamTableEnvironment.create(env) // 最简单的创建表环境 TableEnvironment是flink中集成Table API和SQL的核心概念，所有对于表的操作都基于TableEnvironment 其他创建方法： // 基于老版本planner的流处理 val settings = EnvironmentSettings....
【FlinkTable】StreamTableEnvironment中的create无法重载方法
一只野生的小黑猫的博客
08-11 417
在学习FlinkTable时遇到了一个问题，创建StreamTableEnvironment时，create方法出错。原因是错误的将Scala中的StreamTableEnvironment，导入成了java中的StreamTableEnvironment。把 import org.apache.flink.table.api.bridge.StreamTableEnvironment ，修改为 import org.apache.flink.table.api.bridge.
flink 1.14版本 mongodb sink
06-09
在 Flink 1.14 版本中，MongoDB Sink 的使用方式与之前的版本有些不同。具体来说，需要使用新的 MongoDB Connector for Flink，该 Connector 与 Flink 的版本保持一致，可以在 Flink 官方网站上下载。下载完成后，需要将 Connector 的 JAR 包添加到 Flink 的 classpath 中。 在代码中，可以使用以下方式创建一个 MongoDB Sink： ```java MongoDBOutputFormatConfig.Builder builder = MongoDBOutputFormatConfig.builder() .setHosts("localhost:27017") .setDatabase("mydb") .setCollection("mycollection") .setDocumentClass(MyType.class); MongoDBOutputFormat<MyType> outputFormat = new MongoDBOutputFormat<>(builder.build()); DataStream<MyType> stream = ... stream.writeUsingOutputFormat(outputFormat); ``` 其中，`MyType` 是要写入到 MongoDB 的数据类型。需要注意的是，在 Flink 1.14 中，MongoDB Sink 不再是一个 DataStream Sink，而是一个 OutputFormat。因此，在将 Sink 添加到 DataStream 中时，需要使用 `writeUsingOutputFormat` 方法。 除了上述方式，Flink 1.14 还提供了一种更加简便的创建 MongoDB Sink 的方式，即通过 `MongoDB.sink()` 方法： ```java DataStream<MyType> stream = ... stream.sink(new MongoDBSink<>(MongoDB.sink( "mongodb://localhost:27017/mydb.mycollection", new MyTypeMapper()) )); ``` 这种方式可以更加方便地创建 MongoDB Sink，不需要手动创建 OutputFormat。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值