Flink tableapi从kafka创建表

最新推荐文章于 2023-10-11 17:14:01 发布
最新推荐文章于 2023-10-11 17:14:01 发布
阅读量576 收藏
点赞数
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43118086/article/details/120822268
版权

从kafka创建表
oldTableEnv.connect(new Kafka()
.version(“0.11”)
.topic(“sensor”)
.property(“zookeeper.connect”, “localhost:2181”)
.property(“bootstrap.servers”, “localhost:9092”)
).withFormat(new Csv())
.withSchema(new Schema()
.field(“id”, DataTypes.STRING())
.field(“ts”, DataTypes.BIGINT())
.field(“temperature”, DataTypes.DOUBLE())
)
.createTemporaryTable(“kafkaInputTable”)

Dylan ZhaoHT
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink-SQL实现kafka处理后写入kafka
JustinMars的博客
10-13 1934
基本信息 kafka版本 1.13.2 topic 原始数据topic user_behavior 输出数据topic after_binlog 读取kafka原始数据 CREATE TABLE user_behavior ( id BIGINT, name STRING, flag STRING ) WITH ( 'connector.type' = 'kafka', -- 使用 kafka connector 'co
FlinkSQL Client读取Kafka创建表
JustinMars的博客
06-22 456
先卸载上个版本的相关软件 yum -y remove docker docker-common docker-selinux docker-engine 安装 uname -r 查看当前内核版本(大于3.10) 安装docker的依赖包 yum install -y yum-utils lvm2 device-mapper-persistent-da...
Flink 1.9 Table API -kafkaSource
01-07
Flink 1.9 Table API -kafkaSource ​ 使用kafka作为flink的数据源对接flink Table,本次测试使用的是单节点的kafka以及flink,以下为一次简单的操作，包括kafka主题的创建、订阅、发布以及具体的小案例 kafka中主题的创建 [root@CentOSA kafka_2.11-2.1.0]# bin/kafka-topics.sh --create --topic sales --partitions 1 --replication-factor 1 --zookeeper CentOSA:2181 Created topic sale
Flink Table API读取Kafka数据，并将结果sink到Kafka中
wtmdcnm的博客
06-11 5137
最近在小破站上学Flink，跟着做 “Flink Table API读取Kafka数据，并将结果sink到Kafka中”这样一个小练习，感觉平平无奇，但是一直运行报错
Flink SQL和Table API实现消费kafka写入mysql
weixin_45207751的博客
06-18 1249
Flink SQL和Table API实现消费kafka写入mysql。
Flink-将DataStream 转换成表 | 创建临时视图 | 输出到文件 | 输出到Kafka | 更新模式
SmallScorpion
05-31 3996
将 DataStream 转换成表 Flink允许我们把Table和DataStream做转换：我们可以基于一个DataStream，先流式地读取数据源，然后map成样例类，再把它转成Table。Table的列字段（column fields），就是样例类里的字段，这样就不用再麻烦地定义schema了。 import com.atguigu.bean.SensorReading import org.apache.flink.streaming.api.scala._ import org.apache.f
【测试】FlinkSql映射kafka数据成表
遇事不决问春风
05-11 1377
FlinkSql环境配置及测试文档 测试flinksql功能，并尝试将目前的需求通过简单demo的方式实现 一、流程设计 1、确定数据格式 姓名,年龄,是否学生,操作类型,操作时间 name,age,isStu,opt,optDate 2、准备初始数据 zhangsan,18,1,insert zhangsan,20,2,update lisi,29,1,insert wangwu,29,2,insert 3、新增数据，同时监测flink数据是否有变化 zhangsan,18,1,insert 二、k
Flink 系例 之 TableAPI & SQL 与 Kafka 消息插入
jilo88的博客
06-29 320
使用 Tbale&SQL 与 Flink Kafka 连接器将数据写入 kafka 的消息队列
FlinkSQL详细系统的全面讲解及在企业生产的实践使用
HD0do的博客
01-10 3294
FlinkSQL中mysql，kafka,Clickhouse数据源对接，实时流表关联维度表，CDC的使用， FlinkSQL写入clickhouse两种方式实现， FLINkSQL全面详解，解析flinkSql解析JSON数据， 访问量和订单金额统计生产实践
Flink实战（七十七）：flink-sql使用（五）分离的 SQL 查询、SQL 视图、临时表（Temporal Table）
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1203
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 分离的 SQL 查询 为定义端到端的 SQL 管道，SQL 的INSERT INTO语句可以向 Flink 集群提交长时间运行的分离查询。查询产生的结果输出到除 SQL 客户端外的扩展系统中。这样可以应对更高的并发和更多的数据。CLI 自身在提交后不对分离查询做任何控制。 INSERT INTO MyTableSink SELECT * FROM MyTableSource si..
flink-connector-kafka-2.12-1.14.3-API文档-中文版.zip
04-07
赠送原API文档：flink-connector-kafka_2.12-1.14.3-javadoc.jar 赠送源代码：flink-connector-kafka_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-connector-kafka_2.12-1.14.3-javadoc-API文档-中文...
Flink+Kafka的JavaAPI应用
05-30
此案例使用的是IDEA开发工具，项目...使用JavaAPI操作Flink的流处理，Flink从Kafka中获取数据，执行处理后再执行输出。 根据（《Flink入门与实战》徐葳著）教材最后的综合案例改变，适合没有学习不会使用Flume的人使用
flink-connector-kafka-2.12-1.14.3-API文档-中英对照版.zip
06-06
赠送原API文档：flink-connector-kafka_2.12-1.14.3-javadoc.jar； 赠送源代码：flink-connector-kafka_2.12-1.14.3-sources.jar； 赠送Maven依赖信息文件：flink-connector-kafka_2.12-1.14.3.pom； 包含翻译后的...
flink-connector-kafka-0.10-2.11-1.10.0-API文档-中文版.zip
04-23
赠送原API文档：flink-connector-kafka-0.10_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-connector-kafka-0.10_2.11-1.10.0-sources.jar； 赠送Maven依赖信息文件：flink-connector-kafka-0.10_2.11-1.10.0.pom；...
Flink Sql(二) Kafka连接器
qq_42575907的博客
07-17 4517
如果作为TableSource，连接器会将读取到的topic中的数据（key,value），解释为对当前key的数据值的更新（UPDATE），也就是查找动态表中key对应的一行数据，将value更新为最新的值；需要特别说明的是，在KafkaTable的字段中有一个ts，它的声明中用到了METADATAFROM，这是表示一个“元数据列”（metadatacolumn），它是由Kafka连接器的元数据“timestamp”生成的。下面我们就分别进行介绍。...
写一个 flink 消费kafka表
weixin_42590539的博客
02-12 61
Flink 是一个分布式流处理框架，它可以用来消费 Kafka 中的数据。下面是一个简单的代码示例： import org.apache.flink.streaming.api.scala._ import org.apache.flink.streaming.connectors.kafka._ // 创建 Flink 流处理环境 val env = StreamExecutionEnviro...
Flink Kafka Connector介绍和使用（DataStream and Table）
俩只猴的博客
12-31 874
前言 Flink提供了一个Apache Kafka连接器，我们可以很方便的实现从Kafka主题读取数据和向其写入数据。 Flink附带了提供了多个Kafka连接器：universal通用版本，0.10，0.11 官方文档解释说universal(通用版本)的连接器，会尝试跟踪Kafka最新版本，兼容0.10或者之后的Kafka版本，官方文档也说对于绝大多数情况使用这个即可。在最新的官方文档上有这个通用版本连接器的迁移介绍: Migrating Kafka Connector from 0.11 to uni
2.1、如何在FlinkSQL中读取&写入到Kafka
最新发布
向热爱自己一样，热爱这个世界。
10-11 5963
使用 flinksql读取、写入kafka
FlinkSQL使用DDL语句创建kafka源表
热门推荐
JasonLee实时计算
01-14 1万+
在Flink1.9.x版本中,社区版本的 Flink 新增 了一个 SQL DDL 的新特性，但是暂时还不支持流式的一些概念的定义,比如说水位(watermark). 下面主要介绍一下怎...
flink table 读取kafka 多个表 demo 1.17.0
06-03
好的，以下是一个 Flink Table 读取 Kafka 多个表的示例代码，使用的是 Flink 1.17.0 版本： ```java import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.Table; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; import org.apache.flink.table.descriptors.Kafka; import org.apache.flink.table.descriptors.Schema; import org.apache.flink.table.descriptors.FormatDescriptor; import org.apache.flink.table.descriptors.Json; import org.apache.flink.table.descriptors.ConnectorDescriptor; public class FlinkKafkaTableDemo { public static void main(String[] args) throws Exception { // 创建 Flink Streaming 执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); // 创建 Flink Table 执行环境 EnvironmentSettings settings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env, settings); // 定义 Kafka 连接器 ConnectorDescriptor kafkaConnector = new Kafka() .version("universal") .topic("topic-name") .startFromLatest() .property("bootstrap.servers", "localhost:9092") .property("group.id", "group-name"); // 定义 Schema Schema schema = new Schema() .field("field1", "VARCHAR") .field("field2", "BIGINT") .field("field3", "VARCHAR"); // 定义格式化器 FormatDescriptor format = new Json().failOnMissingField(true); // 注册 Kafka 连接器和 Schema tableEnv .connect(kafkaConnector) .withFormat(format) .withSchema(schema) .createTemporaryTable("table1"); // 注册另一个 Kafka 连接器和 Schema tableEnv .connect(kafkaConnector) .withFormat(format) .withSchema(schema) .createTemporaryTable("table2"); // 按照指定条件连接多个表 Table result = tableEnv.sqlQuery("SELECT t1.field1, t1.field2, t2.field3 FROM table1 t1 JOIN table2 t2 ON t1.field1 = t2.field1"); // 输出结果 result.printSchema(); result.execute().print(); // 执行任务 env.execute("Flink Kafka Table Demo"); } } ``` 在这个示例中，我们首先创建了一个 Flink Streaming 执行环境和一个 Flink Table 执行环境。然后，我们定义了一个 Kafka 连接器和一个 Schema，然后在 Flink Table 执行环境中注册它们，创建了两个临时表 `table1` 和 `table2`。最后，我们按照指定条件连接了这两个表，执行了查询并输出了结果。 注意，示例中的 Kafka 版本为 `universal`，因此可以适用于不同版本的 Kafka。如果你的 Kafka 版本与本示例不同，请根据实际情况调整。 另外，示例中使用了 JSON 格式化器，如果你的数据格式不同，也需要相应地更改格式化器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值