Flink实战之自定义TableFormat

最新推荐文章于 2022-11-08 12:15:32 发布
最新推荐文章于 2022-11-08 12:15:32 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： Flink实战系列 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41608066/article/details/107669520
版权

自定义TableFormat主要包含如下步骤：

  1. 实现TableFormatFactory接口

  2. 实现SerializationSchemaFactory、DeserializationSchemaFactory 序列化和反序列化接口

    两个工厂接口用于创建Schema的序（反）列化对象类。

  3. 实现SerializationSchema、DeserializationSchema

  4. 在source或sink Function的invoke方法中对数据使用SerializationSchema的serialize或DserializationSchema的deserialize方法对数据进行序列化和反序列化。

demo可参考https://github.com/zhuxiaoshang/flink-be-god/tree/master/flink-formats/flink-format-customized/src/main/java/format/customized
具体代码实现可以参考flink源码中的几种format。

优优我心
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink开发实战之flink原理解析
01-27
我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法实现了高吞吐和容错性，但是牺牲了低延迟和实时处理的能力，也不能使用窗口与自然时间相匹配。Flink的出现完美的解决了以上问题，这也是flink出现的原因，flink不仅能提供同时支持高吞吐和exactly-once语义的实时计算，
Flink cdc自定义format格式数据源
从大数据到人工智能的博客
10-22 2014
总览 变更数据捕获 (CDC) 已成为一种流行的模式，用于从数据库捕获已提交的变更并将这些变更传播给下游消费者，例如保持多个数据存储同步并避免常见的陷阱，例如双重写入。 能够轻松地将这些变更日志摄取和解释到 Table API/SQL 中一直是 Flink 社区的一个非常需要的功能，现在 Flink 1.11 可以实现。 为了将 Table API/SQL 的范围扩展到 CDC 等用例，Flink 1.11 引入了具有变更日志模式的新表源和接收器接口（请参阅新的 TableSource 和 TableSin
flink table api 自定义数据格式解析
微溪
02-21 6472
       flink table api目前支持的数据格式(https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/table/tableApi.html ）除基础数据格式外还支持pojo,但毕竟支持有限，我们希望通过固定的解析，就能直
Fllink table 使用过程中无法找到TableFactory的子类如KafkaSourceSinkFactory StreamTableSourceFactory等
knowfarhhy
09-12 6370
我正在使用flink表api，使用kafka作为输入源，使用json作为表模式。提交程序时出现此错误：`程序完成以下异常： org.apache.flink.client.program.ProgramInvocationException: The main method caused an error. at org.apache.flink.client.program.PackagedP...
Flink自定义format，实现解析kafka自定义格式的cdc数据
qq_40498209的博客
11-06 3385
flink自定义format，解析cdc数据
数据湖 Table format 中个别的功能
feidodoxcx的博客
11-08 473
数据湖 Table format 中个别的功能
flink 流式表自定义StreamTableSource、RetractStreamSink，并使用flink kafkaDataStream.pdf
05-14
本文件是自己根据flink1.8官网文档https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/table/streaming/time_attributes.html#using-a-tablesource里实现的自定义StreamTableSource，并且输入流也用...
Flink实战项目（电力行业真实项目）
03-18
主要功能是基于Flink从kafka消费数据，并做avro反序列化、解析、统计等，最后结果数据发送到redis或者influxdb(时序数据库)。另外我提供Flink答疑服务，帮助大家快速理解项目和Flink入门，如有需要可添加微信：z...
Flink之Table API
01-20
Table API是SQL语言的超集并专门为Apache Flink设计的，Table API是Scala和Java语言集成式的API。与常规SQL语言中将查询指定为字符串不同，Table API查询是以Java或Scala中的语言嵌入样式来定义的，具有IDE支持如:...
Flink SQL 自定义 Source format
shengjk1的博客
10-20 1512
1. 背景 2. 步骤 3.自定义 Format 4. 使用自定义 Format 1.背景 由于 kafka 中的 json 属于嵌套，又不想二次序列化再把它展开，故自定义 format。 2.步骤 1.自定义 Factory 实现 DeserializationFormatFactory 2.自定义 DeserializationSchema 实现 DeserializationSchema 3. 自定义 Factory 中 createDecodingFormat 方法返回 createDeco.
聊聊flink的Table Formats
weixin_33974433的博客
02-04 611
序 本文主要研究一下flink的Table Formats 实例 CSV Format .withFormat( new Csv() .field("field1", Types.STRING) // required: ordered format fields .field("field2", Types.TIMESTAMP) .fieldDelimiter(...
flink sql 知其所以然（五）| 自定义 protobuf format
qq_34608620的博客
08-25 1303
感谢您的关注  +  点赞 + 再看，对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇-本文结构 大数据羊说 用数据提升美好事物发生的概率~
2021.9.16 table_format
liuyongsheng666的博客
09-17 113
一、列表 带数字排序的列表：有序列表 带圆点的列表：无序列表 没有标记的列表：定义列表 二、表格 三、表单 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>各种列表</title> </head> <body> <!--无序列表--> <ul> <li><a...
Flink 源码 | 自定义 Format 消费 Maxwell CDC 数据
Ververica的博客
08-28 1241
Flink 1.11 最重要的 Feature —— Hive Streaming 之前已经和大家分享过了，今天就和大家来聊一聊另一个特别重要的功能 —— CDC。CDC概述何为CDC？...
聊聊flink的TableFactory
weixin_33906657的博客
02-07 585
序 本文主要研究一下flink的TableFactory 实例 class MySystemTableSourceFactory implements StreamTableSourceFactory&lt;Row&gt; { @Override public Map&lt;String, String&gt; required...
Flink 自定义 SerializationSchema 报序列化错误
u013934623的博客
11-10 1726
Flink SerializationSchema 序列化错误 Flink 使用自定义 SerializationSchema 提交任务后报错： Object org.apache.flink.streaming.util.serialization.KeyedSerializationSchemaWrapper@15639440 is not serializable org.apache.flink.api.java.ClosureCleaner.ensureSerializable(ClosureC
Flink自定义InpputFormat
cyb331的专栏
05-17 2500
package com.demo; import cn.hutool.core.collection.CollUtil; import cn.hutool.core.map.MapUtil; import cn.hutool.core.util.IdUtil; import cn.hutool.core.util.StrUtil; import com.demo.ApplicationCont...
【Flink】Flink SQL 自定义 Source format
九师兄
01-04 870
1.概述 转载：Flink SQL 自定义 Source format 1.背景 由于 kafka 中的 json 属于嵌套，又不想二次序列化再把它展开，故自定义 format。 2.步骤 1.自定义 Factory 实现 DeserializationFormatFactory 2.自定义 DeserializationSchema 实现 DeserializationSchema 自定义 Factory 中 createDecodingFormat 方法返回 createDecodingFormat
Flink实战：自定义KafkaDeserializationSchema(Java/Scala)
陆继森的技术专栏
04-25 9500
微信公众号：大数据开发运维架构 关注可了解更多大数据相关的资讯。问题或建议，请公众号留言; 如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈 从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读 kafka中的数据通常是键值对的，所以我们这里自定义反序列化类从kafka中消费键值对的消息，为方便大家学习，这里我实现了Java/Scala两个版本，由于比较简单这里直接上...
flink中将mysql自定义为检查点存储
最新发布
05-25
在 Flink 中，可以将 MySQL 自定义为检查点存储。以下是实现方法： 1. 首先，需要将 Flink 依赖库中的 flink-connector-jdbc 和 mysql-connector-java 添加到项目中。 2. 接着，创建一个实现 CheckpointStorage ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值