【大数据】-- Flink 1.16.0 发布

最新推荐文章于 2024-01-23 09:32:02 发布
最新推荐文章于 2024-01-23 09:32:02 发布
阅读量369 收藏
点赞数 1
分类专栏： Flink（理论+实战） 数据仓库（理论+实战） 大数据运维 文章标签： 大数据 flink hive Powered by 金山文档
原文链接：https://flink.apache.org/2022/10/28/announcing-the-release-of-apache-flink-1.16/
版权
Apache Flink 1.16 强化了流批处理能力，推出 Streaming Warehouse，实现了计算与存储的融合。在批处理方面，增加了 SQL Gateway 和 Hive 语法兼容，支持 Join Hint 和自适应 Hash Join，提升了性能和稳定性。在流处理上，Changelog State Backend 提供了秒级 Checkpoint，优化了维表查询速度和容错体验。此外，新版本还改进了 SQL Gateway、动态分区裁剪和异步 I/O 支持。
摘要由CSDN通过智能技术生成

Apache Flink 持续保持高速发展，是 Apache 最活跃的社区之一。Flink 1.16 共有 240 多个 Contributor 热情参与，共完成了 19 个 FLIP [1] 和 1100 多个 issue，给社区带来非常多振奋人心的功能。

Flink 已经是流计算领域的领跑者，流批一体的概念逐渐得到大家的认可，并在越来越多的公司成功落地。之前的流批一体更强调统一的 API 和统一的计算框架。今年，在此基础上，Flink 推出了 Streaming Warehouse [2]，进一步升级了流批一体的概念：真正完成了流批一体的计算和流批一体的存储的融合，从而实现流批一体的实时化分析。

在 1.16 版本里，Flink 社区对流、批都完成了众多改进：

  • 在批处理方面，完成了易用性、稳定性、性能全方位的改进，1.16 是 Fink 批处理的里程碑式的版本，是走向成熟的重要一步。

    了解本专栏 订阅专栏 解锁全文 超级会员免费看
    往事随风ing
    关注
    专栏目录
    订阅专栏
    Flink1.9 最新版本编译-Hadoop2.8.3 [完整版]
    aikfk的博客
    10-11 3540
    第一步：JDK环境准备 特别说明一下：官网要求Flink编译和使用的时候JDK版本必须是1.8以上，所以这里我们使用的额是1.8.0.221版本，建议大家JDK用1.8.0.191或者1.8.0.221以上的版本。不要用低于1.8.0.191的版本，低于1.8.0.191版本编译没有问题，但运行Flink程序的时候会出问题。JDK配置完之后，要检查一下，确保你的版本是OK的。 #JAV...
    Flink Phoenix connector依赖包
    06-02
    flink sql读写phoenix所使用到的连接器依赖包： flink-sql-connector-phoenix-1.14-1.0.jar 使用示例： create table tab2( ID STRING, NAME STRING, PRIMARY KEY (ID) NOT ENFORCED )WITH( 'connector' = 'phoenix-jdbc', 'driver'='org.apache.phoenix.jdbc.PhoenixDriver', 'org.apache.flink.connector.phoenix.schema.isNamespaceMappingEnabled'='true', 'org.apache.flink.connector.phoenix.schema.mapSystemTablesToNamespace'='true', 'url' = 'jdbc:phoenix:192.168.71.00:2181/hbase', 'table-name' = 'ODS.TEST1' ) 有问题随时给我私信~
    Flink1.16.0下载安装部署
    最新发布
    fvyutk的博客
    01-23 1528
    一、通过命令行下载二、Windows下载1.访问下方链接即可下载3.传输成功后，同样操作进行解压。
    flink1.16新特性列举
    张伟的专栏
    09-24 581
    -4：对于shuffle中一个上游的数据有多个下游共用的情况，以前是上游vertex生成多个数据集，然后供下游使用，这导致了数据被序列化和持久化了多次。--10：sort-shuffle的index文件以前存储的位置信息是当前数据分区的buffer数（the number of buffers in the current data region），这样不便于快速的定位目标数据的边界，现在改成了记录当前数据分区的bytes数，这样也便于做如下优化：为了连续性IO读取，读取大于一个buffer的数据。
    重磅！Apache Flink 1.16 发布在即！众多新特性全面解读！
    http://www.54tianzhisheng.cn/
    10-12 3059
    Apache Flink 继续快速发展，是 Apache 中最活跃的社区之一。Flink 1.16 有超过 230 名贡献者热情参与，完成了 19 个 FLIP 和 900+ 个问题，为社区带来了许多令人兴奋的功能。Flink 已经成为流处理的主角和事实标准，流批处理统一的概念正在逐渐获得认可，并在越来越多的公司中成功实施。此前，流批一体的概念更强调统一的API和统一的计算框架。今年，基于此，Fl...
    flink-connector-clickhouse-1.16.0-SNAPSHOT.jar
    04-11
    flink 和 clickhoues的链接工具包, flink的版本支持到1.16.0以上
    flink-streaming-java_2.12-1.14.3-API文档-中文版.zip
    06-06
    赠送jar包：flink-streaming-java_2.12-1.14.3.jar； 赠送原API文档：flink-streaming-java_2.12-1.14.3-javadoc.jar； 赠送源代码：flink-streaming-java_2.12-1.14.3-sources.jar； 赠送Maven依赖信息文件：flink-...
    flink新版本bat启动文件.zip
    12-11
    在大数据处理领域，Apache Flink 是一款开源的流处理框架，以其高效实时处理能力和强大的状态管理而备受关注。本文将围绕“flink新版本bat启动文件.zip”这一主题，详细阐述Flink的启动过程，以及如何在新版本中解决...
    Flink-1.16.2 CDH6.3.2
    09-26
    CDH6.3.2集成安装Flink-1.16.2，所需的包都在文件里面了，不用再自己打包了 参考部署教程： https://blog.csdn.net/qq_31454379/article/details/110440037 https://www.cnblogs.com/lshan/p/16469294.html
    官宣｜Apache Flink 1.16 发布公告
    Ververica的博客
    11-02 2352
    Flink 社区正一步一步推动 Streaming warehouse 从概念变为现实并走向成熟。
    Flink1.16 发布新特性
    京河小蚁的博客
    09-30 5538
    广义的概念上，能够捕获数据变更的技术，我们都可以称为CDC （Change Data Capture）。通常我们说的CDC技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。其实我觉得数仓分为实时和离线最好的状态（个人想法）。meetup看了两遍，第一遍感觉听着讲change log那节，比较晦涩，今天又全部听了一遍，感觉对checkpoint的历史节点上优化又有了更深一步的理解。
    Flink 1.16.0 wordCount示例，入门案例
    一点博客
    05-04 238
    Flink1.16.0 wordCount 入门案例
    flink 1.16 在centos安装 部署踩的坑
    lg4546的专栏
    04-11 1055
    flink 1.16安装部署遇到的坑
    Flink1.16集群安装部署
    weixin_42263032的博客
    12-04 4065
    Flink1.16集群安装部署
    Flink 1.16 改进功能点
    叔于田蒸蒸的博客
    09-28 788
    Flink 1.16有哪些改进？ 批处理全面（SQL Gateway）:支持多租户、协议插件化、兼容 Hive 生态 状态存储改进：改进 RocksDB State Backend,ScaleUP 速度提升 2-10倍；更丰富 Metrics；完善 Changelog，生产可用 PyFlink：对齐 Java，API 覆盖 95%；支持所有内置 Connector & Format ；完整支持 Tread 执行模式（减少开销、延迟） 4.维表增强；消除非确定性对流处理的影响；支持更多
    Flink开发环境准备: centos-jdk8
    weixin_44462773的博客
    08-05 1794
    flink开发准备：jdk安装、idea安装配置、maven安装配置、flink安装配置与启动
    flink1.16读取hive数据存到es 本地和服务器上遇到的问题和解决思路
    cclovezbf的博客
    07-18 905
    - hadoop 版本不需要引入，服务器的hadoop_home有 但是flink启动的时候缺少了hadoop-mapreduce-client-core-3.1.1.7.1.7.1046-1.jar这个jar-->我当时觉得就是缺少了hive的jar 还想ln-s 把CDH/hive/conf里的jar 引入到flink_home/lib里 发现真是错了。--需要引入3.1.2的jar 用的服务器3.1.3的版本会报错-->路径是没有问题的， kinit -kt 成功的。
    深入解析大数据实时计算引擎Flink
    "Flink 大数据实时计算引擎详解" Flink是大数据实时计算领域的重要引擎，它被设计用于处理有界和无界数据流。在大数据计算发展的历程中，Flink被视为第四代计算引擎，代表了对流处理、批处理、机器学习和图计算等...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值