flink自定义connector

最新推荐文章于 2024-04-25 14:33:56 发布
最新推荐文章于 2024-04-25 14:33:56 发布
阅读量536 收藏
点赞数
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013086392/article/details/118461470
版权 
具体可以查看
https://github.com/zck573693104/flinkLearn/tree/flink-1.13
实现细节
1.实现DynamicTableSourceFactory , DynamicTableSinkFactory 注册 自定义connector
 resources目录下创建文件 org.apache.flink.table.factories
2.自定义DynamicTableSource和DynamicTableSink 生成逻辑计划
3.根据维表或者select功能实现LookupTableSource，ScanTableSource
4.创建具体干活的查询任务

在这里插入图片描述

dian张
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink 自定义数据源Connector
tianhouquan的专栏
05-13 5042
flink自定义数据源
【flink】自定义flink-socket-connector
weixin_50573352的博客
09-09 293
用户自定义 Sources & Sinks 概述 实心箭头展示了在转换过程中对象如何从一个阶段到下一个阶段转换为其他对象。 元数据 Table API 和 SQL 都是声明式 API。这包括表的声明。因此，执行 CREATE TABLE 语句会导致目标 catalog 中的元数据更新。 对于大多数 catalog 实现，外部系统中的物理数据不会针对此类操作进行修改。特定于连接器的依赖项不必存在于类路径中。在 WITH 子句中声明的选项既不被验证也不被解释。 动态表的元数据（ 通过 DDL 创建或由
flink-connector-kudu:基于Apache-bahir-kudu-connector的flink-connector-kudu，支持Flink1.11.x DynamicTableSourceSink，支持范围分区等
03-04
Kudu连接器 基于Apache-Bahir-Kudu连接器改造而来的满足公司内部使用的Kudu连接器，支持特性范围分区，定义哈希分桶数，支持Flink1.11.x动态数据源等，改造后已贡献部分功能给社区。 使用姿势 clone代码后，改造pom项目坐标后上传公司私服使用 Kudu目录使用 创建目录 StreamExecutionEnvironment env = StreamExecutionEnvironment . getExecutionEnvironment(); catalog = new KuduCatalog ( " cdh01:7051,cdh02:7051,cdh03:7051 " ); tableEnv = KuduTableTestUtils . createTableEnvWithBlinkPlannerStreamingMode(env); tableEnv .
Flink SQL自定义connector
integrity
12-03 4349
本文翻译自：Flink v1.11官方文档 动态表是Flink的Table＆SQL API的核心概念，用于以统一方式处理有界和无界数据。 因为动态表只是一个逻辑概念，所以Flink并不拥有数据本身。 相反，动态表的内容存储在外部系统（例如数据库，键值存储，消息队列）或文件中。 动态源(Dynamic sources)和动态接收器(Dynamic sinks)可用于从外部系统读取和写入数据。 在文档中，源（sources）和接收器(sinks)通常可以统称为连接器(connector)。 Flink为Kafk
Flink自定义connector官方例子记录
feiyangailing的博客
04-04 1754
Flink自定义connector官方例子Socket 文章目录Flink自定义connector官方例子Socket前言具体步骤1.整体概括运行时Planning 计划阶段Factory阶段2.以Test例子Debug记录2.02.12.22.42.52.62.72.82.9总结 前言 本次记录flinksql的官方记录的socket自定义连接器的实现。 具体步骤 1.整体概括 如图： 接触一个完整的connector的总共大概分为三个主要步骤 运行时 这里其实可以从这里先接入，我们需要在运行时提供出
Flink使用指南: 教你Flink SQL自定义Connector开发，使用SQL入库更方便！
徐腾瑞的博客
07-17 3334
系列文章目录 Flink使用指南：Flink设置全局变量，并在函数中获取，让你的代码更加优雅！ Flink使用指南：Checkpoint机制，完全搞懂了，你就是大佬！ Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！ Flink使用指南: Kafka流表关联HBase维度表 Flink使用指南: Watermark新版本使用 Flink使用指南: Flink SQL自定义函数 前言 最近的工作主要是在向实时计算平台方向迁移，之前的实时计算任务都是用Flink Dat.
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
07-08
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
flink-connector-redis_2.11-1.0.jar
03-11
flink连接redis自定义连接器 eg: "CREATE TABLE redis_dim (\n" + "key String,\n" + "res String\n" + ") WITH (\n" + " 'connector.type' = 'redis', \n" + " 'redis.ip' = '10.100.1.15', \n" + " '...
pylink链接kafka资源jar包flink-connector-kafka_2.12-1.11.0
12-04
标题中的“pylink链接kafka资源jar包flink-connector-kafka_2.12-1.11.0”表明这是一个关于使用Python（pylink）连接Apache Flink与Kafka资源的Java Archive (JAR) 文件。描述简单地提到了“flink-connector-kafka_...
自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP
最新发布
05-22
自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-...
Flink Connector 开发.pdf
03-21
1. **Connector 概述**：Flink 的 Connectors 是可插拔的模块，允许用户自定义数据源（Source）和数据接收器（Sink），以便从各种不同的系统中读取和写入数据。开发者可以通过实现Flink提供的接口来创建自己的...
Flink SQL 自定义 Connector
lck_csdn的博客
06-29 2528
flink sql 自定义 connector
Flink自定义Connector
阿甘兄
04-12 3027
文章目录01 引言02 Connector概述2.1 Metadata - 元数据模块2.2 Planning - 规划模块2.3 Runtime - 运行时模块03 Connector相关API3.1 Dynamic Table Factories - 动态表工厂3.2 Dynamic Table Source - 动态表源3.2.1 Scan Table Source - 扫描表源3.2.2 Lookup Table Source - 查找表源3.3 Dynamic Table Sink - 动态表接
flink connector实现原理和自定义connector
litlit023的专栏
04-25 115
flink connector实现原理和自定义实现connector
Flink Sql 自定义实现 kudu connector
Direction_Wind的博客
02-21 1657
众所周知啊，flinksql 中与其他的存储做数据的传输连接的时候，是需要有独特的连接器的，mysql redis es hbase kudu ，不同的存储他们自己使用的协议与操作都不一样，所以需要相应的连接器来连接，这个帖子主要讲一下怎么实现自定义的flink sql connector ，不只局限于kudu ，其他的连接器都是这个原理。
Flink大数据项目实战
01-18
本课程基于某电商公司运营实时分析系统（2B），进行全方位、无死角系统讲解。通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而一站式全面、深入掌握Flink技术。
Flink实战之自定义flink sql connector
weixin_41608066的博客
07-11 4755
背景 最近工作中需要自定义开发一些flink sql的connector，因为官方提供的connector毕竟有限，在我们工作中可能会用到各种各样的中间件。所以官方没有提供的就需要我们自定义开发。 就是如： CREATE TABLE XXX( A STRING, B BIGINT) WITH( ‘connect.type’ = ‘kafka’, … ) 所以开发一个自己的connector需要做哪些，本文就来总结一下开发的主要步骤，以及我遇到的问题怎么解决的。 开发 自定义Factory，根据需要实现S
Flink sql自定义connector
chenzuoli的博客
09-26 873
标题: Flink sql自定义connector 日期: 2021-09-26 22:09:54 标签: [Flink, connector] 分类: Flink 最近公司正在做实时数仓相关的东西，我呢，负责实施，市面上的实时数仓的建设文章很多，发现大部分是基于flink的，国内的朋友，尤其是阿里，力推flink，那么我也来尝试下，使用flink作为我们实时数仓的计算引擎。 第一步就是调研flink如何接入数据，在这一块，我们就遇到了麻烦，因为我们的数据源大部分是oracle，flink官方目前还未提.
Flink sql 自定义Connector
wudonglianga的专栏
09-07 825
Metadata（元数据）、Planning（规划），Runtime（运行时提供者）三个部分的内容。
Flink Connector教程：实战应用与自定义开发
Flink Connector资料是深入学习Apache Flink的重要参考资料，它提供了对Flink流处理和批处理应用程序扩展的关键理解。Flink的Connectors允许开发者与各种外部系统集成，如队列系统、存储系统以及自定义源和sink。这...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值