Table & SQL connectors以及FileSystem、JDBC connector

已于 2024-07-30 11:00:34 修改
阅读量8 收藏 1
点赞数
分类专栏： Flink & DolphinScheduler 文章标签： flink connector jdbc filesystem sink source
于 2024-07-30 10:58:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L_15156024189/article/details/140786335
版权

目录

Flink支持的连接器

 如何使用连接器 

FileSystem SQL Connector

 文件格式

分区文件

Source

目录监控

 元数据

Streaming Sink

滚动策略

文件合并

JDBC SQL Connector

依赖

如何创建JDBC表

连接器配置

案例

pom依赖

代码

测试

        Flink的Table API和SQL程序可以连接到其他外部系统，用于读取和写入批处理和流表（ batch and streaming tables）。表源（Table Source）提供对存储在外部系统（如数据库、键值存储、消息队列或文件系统)中的数据的访问。表接收器（Table Sink）将表发送到外部存储系统。根据源和接收的类型，它们支持不同的格式，如CSV、Avro、Parquet或ORC。

Flink支持的连接器

        Flink原生支持各种连接器。下表列出了所有可用的连接器。

名称 版本 Source Sink
Filesystem Bounded and Unbounded Scan Streaming Sink, Batch Sink
了解本专栏 订阅专栏 解锁全文
leboop-L
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
16、Flink 的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及FileSystem示例（1）
alanchanchn的专栏
08-21 3万+
Flink 的 Table API 和 SQL 程序可以连接到其他外部系统，用于读取和写入批处理表和流表。表源提供对存储在外部系统（如数据库、键值存储、消息队列或文件系统）中的数据的访问。表接收器向外部存储系统发出表。根据源和接收器的类型，它们支持不同的格式，例如 CSV、Avro、Parquet 或 ORC。本文介绍如何使用原生支持的连接器在 Flink 中注册表源和表接收器。注册源或接收器后，可以通过表 API 和 SQL 语句访问它。如果要实现自己的自定义表源或接收器，请查看。
Flink Table API& SQL编程指南（Connector Sink-【FileSystem、HBase、Kafka、JDBC】）
麦田里的守望者-蒋中洲【相信相信的力量】
07-18 693
Connector（Sink） FileSysterm 可以将数据写出到文件系统，需要注意目前系统提供文件系统的写出.Sink:BatchSink:AppendStream 批处理-Sink Table API方式 import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.table.api.{DataTypes, Table} import org.apache.flink.table.api.scala.
Flink Table API& SQL编程指南(Source Connector【FileSystem、HBase、Kafka、JDBC、Hive】)
麦田里的守望者-蒋中洲【相信相信的力量】
07-17 513
Connector（Source） Flink的Table API和SQL程序可以连接其他的外围系统，用于读写批和流中的表。其中一个TableSource提供了访问外围系统的数据例如：数据库、key-value仓库、消息队列或者是文件系统等。Table Sink会将计算的结果输出给外部存储系统。这些取决于Source和Sink的类型，他们支持很多种数据类型，例如：CSV、Parquet、ORC等。接下来的我们来看看一些内建的TableSource和Table Sink，然后尝试将他们注册给Flink，当这些
Flink SQL --JDBC connector
chbxw
08-07 4384
一、Table API & SQL 二、SQL Client 2.1、配置 1、添加依赖jar flink-connector-jdbc_2.11-1.12.3.jar mysql-connector-java-5.1.48.jar 2、重启flink stop-cluster.sh start-cluster.sh 注意： 如果不重启的话，无法加载到上面的依赖jar java.lang.ClassNotFoundException: org.apache.flink.connector.j
JDBC驱动（MySQL connectors、sql server JDBC）
06-09
本篇文章将详细探讨JDBC驱动，包括MySQL Connectors和SQL Server JDBC驱动，以及MySQL的用户界面开发管理工具Navicat。 首先，我们来了解JDBC驱动。JDBC驱动主要有四种类型： 1. **类型1（JDBC-ODBC桥接驱动）**：...
eclipse离线svn插件：Subversive+Subversive SVN Connectors
03-04
离线手动方式安装 eclipse的svn插件 Subversive和 Subversive SVN Connectors： 1.eclipse版本为Mars（4.5）； 2.插件1：Subversive-3.0.4.I20160131-1700.zip 插件2：Subversive-connectors-5.0.0.I20150529-1700....
eclipse svn connectors
12-11
Eclipse SVN Connectors是用于Eclipse集成开发环境的Subversion（SVN）客户端插件，它使得开发者能够在Eclipse环境中方便地进行版本控制操作。这些连接器提供了与Subversion服务器通信的功能，支持版本追踪、代码...
openGauss Connectors（openGauss-3.0.0-JDBC.tar.gz）
06-30
openGauss Connectors是专为连接Java应用程序和openGauss数据库设计的一款关键组件，其最新版本为openGauss-3.0.0-JDBC。这个压缩包文件包含了在CentOS_x86_64操作系统环境下运行所需的核心文件，旨在提供高效且可靠...
Subversive SVN Connectors
01-07
1. org.polarion.eclipse.team.svn.connector.svnkit1_10_6.1.0.jar：这是基于SVNKit的连接器，是一个纯Java实现的SVN库，它提供了对SVN协议的全面支持，包括SSL加密通信，以及处理不同SVN版本服务器的能力。...
Flink时间和窗口
L
07-24 1037
如图所示，由事件生成器（Event Producer）生成事件，生成的事件数据被收集起来，首先进入分布式消息队列（Message Queue），然后被 Flink 系统中的 Source 算子（Data Source）读取消费，进而向下游的窗口算子（Window Operator）传递，最终由窗口算子进行计算处理。​ 有两个非常重要的时间点：（1）一个是数据产生的时刻，我们把它叫作“事件时间”（Event Time）；
方案-基于云架构的校园信息化建设方案.pdf
最新发布
07-29
方案-基于云架构的校园信息化建设方案.pdf
【创新未发表】Matlab实现蛇群优化算法SO-Kmean-Transformer-LSTM负荷预测算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
【创新未发表】Matlab实现北方苍鹰优化算法NGO-Kmean-Transformer-LSTM组合状态识别算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
【创新未发表】Matlab实现蝗虫优化算法GOA-Kmean-Transformer-BiLSTM组合状态识别算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
【创新未发表】Matlab实现蛇群优化算法SO-Kmean-Transformer-LSTM组合状态识别算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
【SCI一区】Matlab实现金豺优化算法GJO-CNN-LSTM-Attention的风电功率预测算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
基于Spring Boot+javaScript开发的目前最火爆校园二手交易网站+源码+项目文档+数据库+运行教程（毕业优秀项目
07-29
基于Spring Boot+javaScript开发的目前最火爆校园二手交易网站+源码+项目文档+数据库+运行教程，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 项目简介： 该C2C校园二手交易平台，界面简洁明了，能给用户一种美的视觉上的享受。并且操作简单易懂，可以大胆但是毫不夸张的说，本系统适用于99%的青少年愉快的使用，对于不是很了解智能科技的人来说，只要看看就基本可以掌握然后熟练的使用该系统了。并且本系统的动画效果做得非常的完美，前端工作人员争取使用最少的代码实现最炫酷的动态效果，例如3D页面转换，动态加入购物车效果，搜索的时候动态自动提示商品名字功能等等，无一不是本系统的亮点。由于前端本着使用最少的代码，实现最炫酷的动态效果，所以其性能可以来说是杠杠的。并且前端所构建的网站为响应式网站，当页面的大小发送变化的时候，页面会随着变化，但是我们的变化不会出现任何的纰漏。在兼容性方面，本网站可以完美的兼容ie8+，Firefox8+，chrome6+等等，虽然目前比较少用户使用这些版本以下的浏览器，.................
【创新未发表】Matlab实现白鲸优化算法BWO-Kmean-Transformer-LSTM组合状态识别算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
如何引入flink-connector-filesystem依赖。
03-31
你可以通过以下步骤引入flink-connector-filesystem依赖： 1. 在你的pom.xml文件中添加以下依赖： ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-filesystem</artifactId> <version>${flink.version}</version> </dependency> ``` 其中`${flink.version}`是你使用的Flink版本号。 2. 重新构建和打包你的项目，以使新的依赖生效。 在你的代码中，你可以使用以下方式来引用flink-connector-filesystem： ```java import org.apache.flink.streaming.connectors.fs.FileSystemSink; import org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSink; ``` 注意：`org.apache.flink.streaming.connectors.fs.FileSystemSink`已被弃用，建议使用`org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSink`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

leboop-L

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值