Flink 1.11 Table & SQL深度解读

最新推荐文章于 2022-03-03 18:56:04 发布
最新推荐文章于 2022-03-03 18:56:04 发布
阅读量622 收藏 5
点赞数 1
分类专栏： 实时计算 flink 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38255219/article/details/106792163
版权

1. kafka table DDL 动态table,后者定义覆盖前者, 一次创建多次使用

在这里插入图片描述

2.clone table 完整继承、或者覆盖OPTION

在这里插入图片描述

3.性能测试体验提升

在这里插入图片描述

4.kafka table options 提升

在这里插入图片描述

5.source & Sink重构

（1）ChangeLog：kafka sink 支持update delete
（2） NoMatchingFactory 异常修复
（3）table schema 类型异常

在这里插入图片描述

6.Hive 流批一体

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

7.Hive Dialect

在这里插入图片描述

在这里插入图片描述

8.Api Client

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

以上内容整理自2020年6月14日阿里云主办的大数据+AI meetup

dylan_白羊
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】Flink 1.11深度解析 【视频笔记】
九师兄
08-23 489
1.概述
Flink 1.11 table案例
qq_31866793的博客
07-09 2344
1，先来的简单点的，折腾了半天昨天是maven下载不了flink-clients.jar ，下载之后手动导入，然后最简单的代码都运行不了 今天没办法，还是报错，缺包（org.apache.flink.optimizer.costs.CostEstimator），没法子，缺的包就是flink-clients.jar里面的， 再次尝试加入依赖，今天是成功了，代码就执行成功了。 官网中文文档地址：https://ci.apache.org/projects/flink/flink-docs-release.
Flink1.11 Table/SQL API 入门
Aspirin's Nest
12-20 211
下面是一个table api的模板。 主要实现的功能是通过SQL API创建kafka source表和es sink表，然后将source表的数据插入到sink表中。 当然实际上下面的代码有两个sink，除了sink到es以外还sink到了控制台。 依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> &l
大话Flink之十一Table API 和 Flink SQL
youhaitao_do的博客
12-24 507
目录 Table API 和 Flink SQL 1Table API 和 Flink SQL 是什么 2基本程序结构 3 创建 TableEnvironment 4表(Table) 4.1 创建表 4.2 输出到文件 4.3更新模式 4.4 输出到 Kafka 4.5输出到 ES 4.6 输出到 MySql 5将 Table 转换成 DataStream 5.1 将 Table 转换成 DataStream 5.2 将 DataStream 转换成表 5.3...
flink rocksdb相关配置优化
wppwpp1的专栏
03-03 2791
table.dynamic-table-options.enabled=true; state.backend.rocksdb.compaction.style=level; state.backend.rocksdb.thread.num=8; table.exec.mini-batch.enabled=true; table.exec.mini-batch.size=1000; table.optimizer.distinct-agg.split.enabled=true; state.backend.
FLINK1.11.zip
11-16
《FLINK 1.11在CDH 6.2.0环境下的应用与解析》 FLINK 1.11是Apache Flink项目的一个重要版本，它在大数据处理领域扮演着不可或缺的角色，尤其在流处理方面表现出强大的性能和灵活性。此版本已编译好，与CDH...
Flink1.11中文文档.pdf
07-20
- **Table API & SQL**：介绍 Table API 与 SQL 的结合使用方法。 - **依赖管理**：讲解如何管理 Table 程序的依赖项。 #### DataStream API 介绍 - **数据源**：探讨哪些类型的数据可以转化为数据流，包括 Java ...
FlinkSQL1.11新功能与最佳实践
03-01
简要回顾Flink1.8~Flink1.11版本在Apache社区的发展趋势，其中国内开发者的积极参与和中文社区的蓬勃发展对Flink在社区和GitHub的活跃度做出了重要贡献。2.详细解读FlinkSQL1.11新功能，E.g.connectors参数简化+动态...
项目5-Flink-Table与SQL1
08-08
Flink的Table API与SQL是Flink处理数据的核心组件，它们提供了一种声明式的编程模型，使得用户无需关注底层的执行细节，只需关注如何定义和表达数据处理需求。这两个API在实现上有很大的重叠，大约80%的代码是共享的...
Flink SQL 中动态修改 DDL 的属性
JasonLee实时计算
12-20 6886
Flink 支持使用 HiveCatalog 来管理 Flink 的元数据信息, HiveCatalog 通过授权用户仅创建一次表和其他元数据对象，这样就避免了重复创建 kafka 流表...
Flink1.11.0源码手动编译包
07-25
Flink1.11.0源码手动编译包 编译步骤详见：https://blog.csdn.net/dzh284616172/article/details/107571972
Flink 1.11 读取kafka注册为表
qq_31866793的博客
07-13 2107
先上代码： import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.Table; import or.
flink1.11.2中Table & SQL连接kafka
weixin_43943806的博客
11-30 9312
#flink连接kafka并读取数据 前提条件 flink版本1.11.2 直接上代码 import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.restartstrategy.RestartStrategies; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.
Flink 1.11 SQL 使用攻略
u013939918的博客
07-27 6735
7 月 6 日，Apache Flink 1.11 正式发布。从 3 月初进行功能规划到 7 月初正式发版，1.11 用将近 4 个月的时间重点优化了 Flink 的易用性问题，提升用户的生产使用体验。 SQL 作为 Flink 中公认的核心模块之一，对推动 Flink 流批一体功能的完善至关重要。在 1.11 中，Flink SQL 也进行了大量的增强与完善，开发大功能 10 余项，不仅扩大了应用场景，还简化了流程，上手操作更简单。 其中，值得注意的改动包括： 默认 Plann...
Flink教程--flink 1.11 使用sql将流式数据写入hive
热门推荐
公众号[大数据技术与应用实战]，分享大数据实战案例
07-08 1万+
flink 1.11 支持用户直接使用sql将流式数据写入hive，并且可以自动的创建和刷新hive的分区，支持的数据格式包括json、csv、parquet、csv。 底层是使用了写入文件系统的功能，所以具体的配置可以参考写入文件系统的配置。
深度解读 Flink 1.11：流批一体 Hive 数仓
Ververica的博客
05-28 9658
Flink 1.11 features 已经冻结，流批一体在新版中是浓墨重彩的一笔，在此提前对 Flink 1.11 中流批一体方面的改善进行深度解读，大家可期待正式版本的发布。首先恭喜...
Flink 1.11.1:table sql Kafka Connector支持Upsert写入
高矮
11-25 2873
flink版本：1.11.1 文章目录目的测试的代码flink本身的Kafka Connector重新定义一个支持Upsert的Kafka Connector Sink编译打包替换jar包并测试 目的 在使用flink table sql的情况下，使kafka connector sink支持upsert正常写入 测试的代码 val fsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().bui.
Flink教程-flink 1.11使用sql将流式数据写入文件系统
公众号[大数据技术与应用实战]，分享大数据实战案例
07-06 7239
flink 1.11 开始提供了一个file system connector，可以使用DDL创建一个table sink，然后使用sql的方法写入数据，文件系统可以是本地local file，hdfs等，支持的写入格式包括json、csv、avro、parquet、orc。此外还可以支持文件大小、写入时间等不同的文件滚动策略。写完分区文件之后，自动提交分区信息。
Flink-Table 配置（十一）
springk的专栏
03-26 2369
默认情况下，Table&SQL API是预配置的，用于生成具有可接受性能的准确结果。 根据表程序的要求，可能需要调整某些参数以进行优化。例如，无边界的流程序可能需要确保所需的状态大小是有上限的（请参阅流概念）。 目录 概述 执行选项 优化器选项 概述 在每个表环境中，TableConfig都提供配置当前会话的选项。 对于常见或重要的配置选项，TableConfig为gette...
flink1.11 中 Kafka SQL Connector 如何获取record 的 kafkalogtime
最新发布
05-26
在Flink 1.11中，Kafka SQL Connector可以通过使用`TIMESTAMP_LTZ`类型来表示Kafka消息的时间戳。这个类型可以直接从Kafka的消息中获取时间戳，并将其转换为UTC时间。 要使用`TIMESTAMP_LTZ`类型，需要在创建表时指定相应的字段类型，例如： ``` CREATE TABLE kafka_table ( `timestamp` TIMESTAMP_LTZ(3), `key` STRING, `value` STRING, WATERMARK FOR `timestamp` AS `timestamp` - INTERVAL '5' SECOND ) WITH ( 'connector' = 'kafka', 'topic' = 'my_topic', 'properties.bootstrap.servers' = 'localhost:9092', 'scan.startup.mode' = 'earliest-offset', 'format' = 'json' ) ``` 在这个表中，`timestamp`字段被声明为`TIMESTAMP_LTZ`类型，并且在`WATERMARK`语句中定义了一个水印来指示数据流的事件时间。在这个示例中，水印是通过将事件时间减去5秒来计算的。 在Flink中，可以使用`org.apache.flink.formats.json.JsonNode`类型来解析JSON格式的消息。例如： ``` StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); tableEnv.createTemporaryView("kafka_table", env .addSource(new FlinkKafkaConsumer<>("my_topic", new JSONKeyValueDeserializationSchema(false), props)) .map(record -> { JsonNode value = record.value(); long timestamp = value.get("timestamp").asLong(); ZonedDateTime zonedDateTime = Instant.ofEpochMilli(timestamp).atZone(ZoneId.of("UTC")); return Row.of(Timestamp.from(zonedDateTime.toInstant()), value.get("key").asText(), value.get("value").asText()); }), $("timestamp"), $("key"), $("value")); ``` 在这个示例中，`JSONKeyValueDeserializationSchema`用于将JSON格式的消息解析为`JsonNode`对象，并且从中获取时间戳。然后，使用`Instant.ofEpochMilli`将时间戳转换为Java 8的`Instant`对象，并将其转换为UTC时间。最后，使用`Timestamp.from`将`Instant`对象转换为Flink SQL Connector所需的`java.sql.Timestamp`类型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值