Flink connector学习笔记总结

最新推荐文章于 2024-08-07 09:08:20 发布
最新推荐文章于 2024-08-07 09:08:20 发布
阅读量595 收藏 4
点赞数
分类专栏： Flink 文章标签： Flink Connector kafka watermark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/litlit023/article/details/111085627
版权
本文详细介绍了Flink的Connector机制，包括预定义的基于文件、Socket、内存的Source和Sink，Bundled Connectors如Kafka，Apache Bahir扩展，以及异步I/O操作。重点讲解了Flink Kafka Connector的使用，包括消费者和生产者的配置、序列化/反序列化、offset管理和Watermark策略，适合Flink开发者参考学习。
摘要由CSDN通过智能技术生成

目录

 

1. 概述

2. Flink预定义的source和sink

2.1 基于文件的source/sink

2.2 基于Socket的Source和Sink

2.3 基于内存Collections、Iterators的Source

3. Bundled Connectors

4. Apache Bahir

5. Async I/O

6. 参考资料

 

1. 概述

Flink是新一代的流批统一的计算引擎，因此需要从外部读取数据，并将处理结果写出外部存储。Flink通过connector从外部存储读取数据、进行处理、再通过connector将处理后的结果写出到外部存储引擎。Connector就是连接flink计算引擎和外界存储系统，如下示意图：

Flink常用以下4种方式，与外界进行数据交换flink中一共有4中类型的，如下图所示的4中类型

接下来分别介绍每类Connector的使用方法

 

2. Flink预

了解本专栏 订阅专栏 解锁全文 超级会员免费看
fragrans
关注
专栏目录
订阅专栏
Flink1.4 HDFS Connector
SmartSi
03-05 3073
原文来源于：Flink1.4 HDFS Connector此连接器提供一个 Sink，将分区文件写入 Hadoop FileSystem 支持的任何文件系统。要使用此连接器，添加以下依赖项：<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-...
Flink学习总结
xhpscdx的专栏
05-09 417
Flink概述 Apache Flink是一个计算框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。 DataStream API，对数据流进行流处理操作，将流
Apache Bahir 项目教程
最新发布
gitblog_00818的博客
08-07 753
Apache Bahir 项目教程 bahir-websiteMirror of Apache Bahir Website项目地址:https://gitcode.com/gh_mirrors/ba/bahir-website 项目介绍 Apache Bahir 是一个开源项目，旨在为多个分布式分析平台提供扩展，通过多样化的流连接器和 SQL 数据源扩展它们的能力。目前，Bahir 提供了针对 ...
Flink学习使用总结
点滴记录IT技术进程
01-02 234
Flink的基础使用总结，适合入门的程序员参考，以助于构建知识框架。
Flink入门和学习总结
qq_39486100的博客
01-26 614
Flink入门和学习总结Flink入门和学习总结Flink简介数据框架的演变Flink的具体优势Flink应用场景Flink实例 Flink入门和学习总结 第一次了解Flink是通过《Flink原理、实战与性能优化》这本书，他让我对Flink有了最初的印象和认知。在一次项目报表功能开发中让我第一次深入学习并使用它。这篇博客是对我学习的过程的记录也算是个总结吧，希望在以后能不断的深化理解和学习，在以后的工作中提供更多的思路和解决方案。 Flink简介 Apache Flink是一个面向数据流处理和批量数据处理
Flink Table API & SQL DataGen Connector
SmartSi
10-07 557
DataGen Connector 是一个内置的 Source Connector，基于生成的内存数据来创建表。这在本地开发查询而不访问外部系统（如 Kafka）时很有用。random：随机生成器sequence：序列生成器随机生成器（random），是默认的生成器。可以指定随机生成的最大和最小值。char、varchar、string （类型）可以指定长度。随机生成器是一种无界的生成器，如果指定了总行数，从而变成了一个有界生成器。序列生成器（sequence），可以指定序列的起始和结束值。
Flink学习笔记
君永夜
08-27 1623
前言：Flink是当前主流的实时计算框架，阿里的Blink重构了Flink即能做全量数据的批处理，也能做增量数据的实时处理；大数据的业务数据处理分为两个步骤：全量数据批计算，以及增量数据的实时计算，有时处理的业务逻辑是一致的但是代码确是两套，繁琐；当前主流的大数据实时计算框架有： Spark Streming、Kafka Streaming、Storm、Flink、Blink（阿里双十二的主流实时...
Flink 系统性学习笔记
SmartSi
07-31 1646
Flink 学习笔记
尚硅谷Flink教程学习笔记（部署提交）
二胖_pro
05-14 852
课程地址 先来分析一下文件flink-1.10.0-bin-scala_2.11.tgz 解压之后是这样的： conf文件夹下存储了flink的所有配置文件： 打开flink-conf.yaml分析一下 ################################################################################ # Licensed to the Apache Software Foundation (ASF) under one # or mo
【FLINK学习笔记】 FLINK WINDOW(窗口)详解
qq_37023928的博客
01-31 561
一、Window 分类 Global Window 和 和 Keyed Window 在运用窗口计算时，Flink根据上游数据集是否为KeyedStream类型，对应的Windows 也会有所不同。 Keyed Window：上游数据集如果是 KeyedStream 类型，则调用 DataStream API 的 window() 方法，数据会根据 Key 在不同的 Task 实例中并行分别计算，最后得出针对每个 Key 统 计的结果。 Global Window：如果是 Non-Keyed 类型，则调用
如何正确使用Flink Connector？
chikuai9995的博客
09-06 814
本文主要分享 Flink connector 相关内容，分为以下三个部分的内容：第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方法。第三部分答疑，对社区反馈的问题进行答疑。 Fl...
flink connector使用
join_null的博客
10-16 289
https://blog.csdn.net/u014680720/article/details/100595003
Flink Connector（一） FlinkKafkaConsumer
xiaoliu_1的博客
02-28 4752
前言 分析基于的版本是Flink 1.12.1 ， Kafka 是 2.11 。 下面是在IDEA 里边直接依赖的包的截图 。 FlinkKafkaConsumer Maven依赖： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1...
Flink Connector 开发
程序猿进阶
01-05 2959
Flink里预定义了一部分source和sink。在这里分了几类。
Flink 自定义数据源Connector
tianhouquan的专栏
05-13 5083
flink自定义数据源
Flink DataStream API - Connector（连接器）
李思净的博客
07-30 1097
连接器 Source和Sink节点连接外部数据源的组件称为连接器（Connector），其中内置连接器的实现代码集成在Flink源码中，但是这些代码并没有被编译进Flink二进制程序包中。内置连接器如下，其中括号里描述的是支持Source还是Sink。 Apache Kafka (source/sink) Apache Cassandra (sink) Amazon Kinesis Stream...
Flink系列六：Flink SQl 之常用的连接器（Connector）
weixin_52134189的博客
06-04 1795
动态表 & 连续查询，连接器（Connector），数据格式
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值