Flink1.14新特性介绍及尝鲜

最新推荐文章于 2024-08-05 09:00:19 发布
最新推荐文章于 2024-08-05 09:00:19 发布
阅读量1.4k 收藏
点赞数
分类专栏： Python编程 大数据 人工智能 文章标签： 大数据 flink TableSQL Pyhton
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JACK_SUJAVA/article/details/127571076
版权
本文介绍了Apache Flink 1.14的新特性，包括流批一体处理的增强，如Task结束后的Checkpoint和两阶段提交，反压机制的优化如缓冲区去膨胀，以及Table/SQL/Python API的改进。同时探讨了Flink与Apache Pulsar的连接器使用。
摘要由CSDN通过智能技术生成

一、Flink简介

l官网：Apache Flink: Stateful Computations over Data Streams

lApache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。

​版本定位：专注于质量改进和维护的版本

发版时间：2021年9月30日

贡献者: 200+

相关链接：1.14 Release - Apache Flink - Apache Software Foundation https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/release-notes/flink-1.14/#known-issues

​Flink 1.14 升级概览

二、流批一体的处理体验

1、流批一体的背景

​2、执行模式

​3、流执行模式的 Checkpoint

​4、Task 结束后的 Checkpoint

通过在配置中添加 execution.checkpointing.

最低0.47元/天 解锁文章
骨灰级收藏家
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
重磅！ | Flink1.14新特性预览
逆流而上Mr李
09-08 1907
欢迎加博主微信：threeknowbigdata，拉你进大数据群、Flink流计算群 大家好，我是土哥。 目前在某互联网大厂担任大数据算法工程师。 今天在查看Flink源码时，发现Flink1.14修复了很多bug，并且提了很多PR,其中完成了33个重要的新特性及优化。 Bug修复可见部分截图： Improvement可见部分截图： 新版本预计1-2周之内会发布，下面我将带领大家查看一下 Flink1.14的新特性都有哪些？ 1、流批一体优化 流批一体其实从 Flink 1.9 版本开始就受到持续的关注
Apache Flink Meetup 8.7 深圳站，企业实践 + 1.14 新特性预览
Ververica的博客
07-22 364
时隔 10 个月，Apache Flink Meetup 又来到了深圳这个与 Flink 契合度很高的城市。正如改革和创新是深圳的标签，Apache Flink 给技术开发者们带来的，也是...
Apache Flink 1.14.0 发布公告
GavinKai
10-01 504
2021 年 9 月 29 日 Stephan Ewen (@StephanEwen) 和 Johannes Moser (@joemoeAT) Apache 软件基金会最近发布了年度报告，Apache Flink 再次跻身最活跃项目前 5 名！这一非凡的活动也体现在新的 1.14.0 版本中。200 多名贡献者再次致力于解决 1,000 多个问题。我们为这个社区如何持续推进项目而感到自豪。 此版本在 SQL API、更多连接器支持、检查点和 PyFlink 等领域带来了许多新功能和改进。此...
Flink 1.20 版本发布，一些值得注意的特性！
最新发布
微信搜：import_bigdata，大数据领域硬核原创作者
08-05 1130
8月2日，Flink1.20版本发布，一边听歌一边看我分析。（戳上面????听歌）本文基于官方网站的Release Note做一个简单的分析，看看哪些内容是更加值得我们关注的。在定位上，这个版本是一个2.0版本之前的过渡版本，也是1.x时代最后一个版本。这个版本中有很多细小的变动，和一些MVP版本的开发，那站在用户的角度，比较值得注意的几个特性有哪些：物化表1.20版本引入了一个 物化表(Materia...
官宣｜Apache Flink 1.16 发布公告
Ververica的博客
11-02 2335
Flink 社区正一步一步推动 Streaming warehouse 从概念变为现实并走向成熟。
hudi-flink1.14-bundle_2.12-0.11.0.jar
06-28
hudi-flink1.14-bundle_2.12-0.11.0.jar
flink1.14_scala2.12
09-20
**一、Flink 1.14新特性** 1. **改进的水印（Watermark）机制**：Flink 1.14对水印机制进行了优化，提升了处理乱序事件的灵活性。水印是一种用于处理时间窗口和事件时间的机制，可以处理延迟到达的数据，确保系统能...
hudi-flink1.14-bundle-0.12.2
05-05
flink1.14与hudi0.12.2的集成jar
自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP
05-22
自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-...
CDH6.3.2集成Flink1.14.4
04-18
1、资源包括commons-cli-1.5.0，flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0放入flink的lib包下使用 2、部署过程中有Redaction rules file doesn't exist, not redacting logs. file: redaction-rules.json和...
flink1.14.3-on-cdh6.3.2
02-14
flink 1.14.3 cdh 6.3.2 稳定可用
flink-core-1.14.3-API文档-中文版.zip
06-06
赠送jar包：flink-core-1.14.3.jar； 赠送原API文档：flink-core-1.14.3-javadoc.jar； 赠送源代码：flink-core-1.14.3-sources.jar； 赠送Maven依赖信息文件：flink-core-1.14.3.pom； 包含翻译后的API文档：flink-core-1.14.3-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.flink:flink-core:1.14.3； 标签：apache、flink、core、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
Flink 特性
热门推荐
不是一枚开发
04-23 4万+
文章目录一.简介1.什么是Flink2.特点3.对比4.流处理、批处理5.架构体系 一.简介 1.什么是Flink Apache Flink是分布式大数据处理引擎，可对有限数据流和无限数据流进行状态计算，可部署在各种集群环境下，对各种大小的数据进行快速计算. flink 官网 2.特点 批流统一（支持批计算和流计算）； 支持高吞吐、低延迟、高性能的流处理； 支持带有事件时间窗口操作； 支持有状态...
【Flink】Flink 1.14 版本 新特性 Barrier 在流经算子做 checkpoint Barrier跳过 unaligned checkpoint
九师兄
08-08 942
1.概述 在博客 【Flink】FLink Barrier 在流经算子 做 checkpoint 的时候，数据是停止的吗？ 中，我们知道。 barrier之前的算子还会处理数据，barrier对其的时候，这个节点是不处理数据的，只是缓存数据，真正barrier的时候会停止处理数据，但是这个时间很短。 但是在新特性中，使用了新的方案，此时我想的是 你妹呀，我刚刚学会这种，然后你就又变化了。 在 Apache Flink Meetup 深圳站的视频中。参考： 这个视频中。 2. 目前状态 2.1 无限流 .
使用Flink1.14操作Iceberg0.13
雾岛与鲸的博客
07-11 625
环境: flink1.14.5 iceberg0.13.2 hadoop2.6.7从https://iceberg.incubator.apache.org/releases/下载flink1.14所需的运行jar，放到flink的lib目录下，启动flink集群: 启动Flink SQL Client: 执行操作 查询数据结果:
【Flink】Flink各版本及新特性
m0_54252387的博客
02-21 2928
在流式 SQL 查询中，一个最经常使用的是定义时间窗口。Flink 1.13 中引入了一种新的定义窗口的方式：通过 Table-valued 函数。这一方式不仅有更强的表达能力（允许用户定义新的窗口类型），并且与 SQL 标准更加一致。Flink 1.13 在新的语法中支持 TUMBLE 和 HOP 窗口，在后续版本中也会支持 SESSION 窗口。
Flink版本更新汇总（1.14-1.18）
猫猫爱吃小鱼粮
12-29 3410
Flink 版本更新汇总（1.14-1.18）
flink各版本变化和新增特性
GavinKai
03-17 7257
1.6新特性 Flink 1.6-有状态流处理的下一步 在Flink 1.6.0中，我们继续在较早版本中进行的基础工作：使Flink用户能够无缝地运行快速数据处理并毫不费力地构建数据驱动的数据密集型应用程序。 Flink的状态支持是使Flink在实现各种用例时如此通用和强大的关键功能之一。为了使其更容易，社区增加了对状态TTL的本地支持（FLINK-9510，FLINK-9938）。此功能允许在状态过期后对其进行清理。现在，通过Flink 1.6.0，计时器状态可以通过将相关状态存储在RocksDB中
Flink 1.14 新特性预览
Baron_ND的博客
01-05 382
转载来自Apache flink 官网，便于查找阅读发到CSDN
flink 1.14 教程
08-02
Flink 1.14 版本是大数据处理框架 Flink 的最新发布版本，下面是对 Flink 1.14 版本教程的回答。 Flink 是一个开源的流处理和批处理框架，能够快速、高效地处理大规模数据。Flink 1.14 版本的教程主要包括以下几个方面的内容： 1. 环境搭建：教程会指导用户如何在本地或者云上搭建 Flink 1.14 版本的运行环境。包括安装和配置 JDK、Flink、相关的依赖库等。 2. 基本概念和架构：介绍 Flink 的基本概念和核心架构，包括数据流的处理模型、数据流的转换操作和窗口操作等。帮助用户理解 Flink 的基本工作原理。 3. 流处理：详细介绍 Flink 1.14 版本中的流数据处理功能，包括数据源的定义、数据转换的操作符和函数、窗口操作和触发器等。提供实际示例和代码演示，帮助用户快速上手。 4. 批处理：介绍 Flink 1.14 版本中的批数据处理功能，包括批处理 API 的使用、批处理作业的调度和执行等。让用户了解如何使用 Flink 处理离线批处理任务。 5. 故障恢复和容错机制：讲解 Flink 1.14 版本中的故障恢复和容错机制，包括检查点和保存点的使用、故障恢复的策略、状态后端的选择等。帮助用户保证作业的可靠性和稳定性。 6. 集成和扩展：介绍 Flink 1.14 版本的集成和扩展机制，包括与其他开源组件的集成、自定义函数和操作符的开发等。让用户了解如何在 Flink 中实现自己的需求。 总结来说，Flink 1.14 版本的教程致力于向用户展示如何使用 Flink 进行流处理和批处理，并提供了丰富的实例和代码演示，帮助用户快速上手。同时，教程还介绍了 Flink 的故障恢复和容错机制，以及集成和扩展的能力，帮助用户在实际应用中更好地利用 Flink 的优势。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值