Flink的流连接器(Streaming Connectors)

最新推荐文章于 2023-02-14 10:29:12 发布
最新推荐文章于 2023-02-14 10:29:12 发布
阅读量336 收藏 1
点赞数
文章标签： 大数据 python 数据库
原文链接：https://my.oschina.net/xiaominmin/blog/3057710
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

预定义的Sources 和 Sinks

一些基本的数据sources 和 sinks 作为Flink的一部分，总是可用。预定义的数据源包括从文件中读取、从目录中读取、从套接字中读取以及从集合和迭代中获取，预定义的数据sink支持写到文件中，作为标准输出或者标准错误输出以及写到套接字中。

捆绑的连接器（Boundled Connectors）

这些连接器提供与第三方系统接口的代码，目前这些连接器包括：
Apache Kafka(Source/Sink)
Apache Cassandra(Source/Sink)
Amazon Kinesis Streams(Source/Sink)
Elasticsearch(Sink)
Hadoop FileSystem(Sink)
RabbitMQ(Source/Sink)
Apache NiFi(Source/Sink)
Twitter Streaming API(Source)

请记住，要在应用程序中使用这些连接器之一，通常需要额外的第三方组件，例如数据存储服务或者消息队列。还需要注意本节中所列出的流连接器是Flink项目的一部分，包括在发布的源码包中，但是并不包括在二进制发布包中，进一步的说明在相应的章节中。

Apache Bahir中的连接器

另外的Flink 流连接器通过Apache Bahir来发布，包括：
Apache ActiveMQ(source/sink)
Apache Flume(sink)
Redis(sink)
Akka(sink)
Netty(Source)

通过Async I/O来丰富数据

使用连接器并不是数据输入输出Flink的唯一方式，为了丰富原始的数据流，一种通用的方式是通过Map或者FlatMap来查询一个外部数据库或者web 服务。Flink为Asynchronous I/O提供了一个API 来使得丰富数据更佳的高效和健壮。

可查询的状态

当一个Flink 应用推送大量的数据到一个外部存储系统时，可能会导致一个I/O瓶颈，如果涉及的数据写大于读的话，一个更好的方法是?️外部系统根据自己的需要来Flink中拉取。Queryable State 接口允许由Flink管理的状态也被外部系统访问来实现这一方法。


 

转载于:https://my.oschina.net/xiaominmin/blog/3057710

weixin_34356138
关注
Flink用户自定义连接器（Table API Connectors）学习总结
主要分享大数据相关的知识，如Spark、Hudi
05-24 2075
结合官网文档和自定义实现一个，来学习总结Flink用户自定义连接器（Table API Connectors）。实心箭头展示了在转换过程中对象如何从一个阶段到下一个阶段转换为其他对象。需要实现 org.apache.flink.table.factories.DynamicTableSourceFactory 接口完成一个工厂类，来生产 DynamicTableSource 类。. . .
流批一体计算引擎-7-[Flink]的DataStream连接器
qq_20466211的博客
01-26 1397
DataStream连接器
Flink流连接器【数据源/接收器】
踏雪无痕
06-27 1008
一.预定义的源和接收器 Flink内置了一些基本数据源和接收器，它们始终可用。该预定义的数据源包括文件，目录和Socket，并可以加载集合和迭代器的数据。该预定义的数据接收器支持写入文件，输出信息和异常。 二.捆绑式连接器 连接器提供用于与各种第三方系统接口的代码。当前支持以下系统： Apache Kafka（源/接收器） Apache Cassandra（接收器） Amazon Kinesis Streams（源/接收器） Elasticsearch（接收器） Hadoop文件系统（接收器） Rabbi
Flink--Streaming Connectors
weixin_30794491的博客
03-25 273
原网址：https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/connectors/ Predefined Sources and Sinks 预定义的源和汇 Bundled Connectors 捆绑连接器 Connectors in Apache Bahir Other Ways to ...
Flink 连接流详解
qq_34125999的博客
02-14 954
最简单的合流操作，就是直接将多条流合在一起，叫作流的“联合”（union）。联合操作要求必须流中的数据类型必须相同，合并之后的新流会包括所有流中的元素，数据类型不变。这种合流方式非常简单粗暴，就像公路上多个车道汇在一起一样。在代码中，我们只要基于 DataStream 直接调用.union()方法，传入其他 DataStream 作为参数，就可以实现流的联合了；union()的参数可以是多个 DataStream，所以联合操作可以实现多条流的合并。这里需要考虑一个问题。
Flink学习-DataStream-HDFSConnector(StreamingFileSink)
迷路剑客个人博客
01-16 2644
Flink学习-DataStream-HDFSConnector(StreamingFileSink) 摘要 本文主要介绍Flink1.9中的DataStream之HDFSConnector(StreamingFileSink)，大部分内容翻译、整理自官网。以后有实际demo会更新。 可参考StreamingFileSink 更多Flink API内容可参考Flink学习3-API介绍-SQL ...
Flink实战(八) - Streaming Connectors 编程
chongyinxi2217的博客
07-27 371
1 概览 1.1 预定义的源和接收器 Flink内置了一些基本数据源和接收器，并且始终可用。该预定义的数据源包括文件，目录和插socket，并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。 1.2 绑定连接器 连接器提供用于与各种第三方系统连接的代码。...
Flink Connectors
qq_32165517的博客
08-25 345
Flink Connectors Connector是什么 预定义的 Source 和 Sink 一些比较基本的 Source 和 Sink 已经内置在 Flink 里。 预定义 data sources 支持从文件、目录、socket，以及 collections 和 iterators 中读取数据。 预定义 data sinks 支持把数据写入文件、标准输出（stdout）、标准错误输出（stderr）和 socket。 附带的连接器 连接器可以和多种多样的第三方系统进行交互。目前支持以下系统: Ap
Flink之Connector连接器
alex大喵的博客
07-07 7901
Streaming Connectors 预定义的Source和Sink 基于文件的Source readTextFile(path) readFile(fileInputFormat,path) 基于文件的Sink writeAsText writeAsCsv 基于Socket socketTextStream 基于Socket的Sink writeToSo...
Apache Flink中的连接器：Connectors
本章将介绍什么是Apache Flink连接器，以及连接器在流处理中的作用和重要性，同时对Apache Flink连接器的分类和特点进行详细探讨。 ## 1.1 什么是Apache Flink连接器？ 在Apache Flink中，连接器是一种用于与外部...
Flink实战(七) Streaming（DataStreaming） 总览
wuhulala的休息室
10-20 1378
文章目录Flink DataStream API Programming Guide示例程序数据源 Data Sources基于文件的基于Socket的自定义数据转换 （DataStream Transformations）数据接收器 Data Sinks写入文件终端打印写入Socket自定义接收器Iterations 迭代Execution ParametersFault Tolerance 容...
kafka连接flink流计算完整版
08-18
kafka连接flink流计算完整版，大数据项目实战时自己编写，kafka安装配置，flink安装配置，以及通过IDEA创建kafka-flink连接jar包等，实现kafka生产数据，flink消费，自我推荐，值得收藏
python flink kafka_Apache Flink:Python流API中的Kafka连接器，“无法加载用户类” - python...
weixin_39640414的博客
12-19 565
我正在尝试Flink的新Python流API，并尝试使用./flink-1.6.1/bin/pyflink-stream.sh examples/read_from_kafka.py运行我的脚本。 python脚本非常简单，我只是想从一个现有的主题中获取内容并将所有内容发送到stdout(或默认情况下output方法在其中发出输出数据的日志目录中的* .out文件)。import globimpo...
Struct Streaming的流-流连接
坚持才会胜利
06-27 1187
流 - 流连接的案例：广告货币化 想象一下，您有两个流 - 一个广告展示流（即，向用户显示广告时）和另一个广告点击流（即，当用户点击显示的广告时）。要通过广告获利，您必须匹配导致点击的广告展示。换句话说，您需要根据公共密钥加入这些流，公共密钥是两个流的事件中存在的每个广告的唯一标识符。在高级别，问题如下所示。 虽然这在概念上是一个简单的想法，但仍有一些核心技术挑战需要克服。 使用缓冲处理延迟/延...
flink 学习（十三）数据流连接 join
码易的博客
04-23 2167
目录前言一、inner join二、sliding-inner-join三、session-inner-join四、left-join四、interval-join 前言 一、inner join         两个流中的数据，通过join连接，在通过where和equalsTo条件判断后，条件成立并且处在同一个窗口内的数据会触发后续的窗口操作。 （1）开启nc 开启两个端口，模拟两个数据来源 nc -lp 8888 nc
flink双流连接及处理
JavaBigData的博客
04-06 568
两个流连接到一起后，实际还是保持各自的数据结构，为了统一处理，可以通过自定义函数，将两个流的输出格式统一起来，这样就变成一个流了，方便后续处理 import org.apache.flink.streaming.api.functions.co.CoMapFunction import org.apache.flink.streaming.api.scala._ object ConnectStreamExample { // DataStream -> ConnectedStream -&g
视频之四：视频流连接
科学边界
03-29 778
这一节我们将从系统层次来考察视频流，讨论嵌入式视频应用所包含的各种视频源和显示装置。  图 1 描述了一个典型的端到端嵌入式数字视频系统。在这种情况下，一个视频源被输入到一个媒体处理器中（必要时，可经过视频解码器的数字化处理）。此时，可以通过软件编码操作来对其进行压缩，然后将其存储到本地或者通过网络进行传输 。 Outside World——媒体处理器外部，
Flink Broadcast State实用指南
Matrix42
06-27 3554
从1.5.0开始，Flink提供了一种新的State类型，称为Broadcast State。在这篇文章中，我们将解释什么是Broadcast State，并展示如何将其应用于评估事件流上的动态模式的应用的示例。我们将向您介绍处理步骤和源代码，以实现此应用。 什么是Broadcast State？ Broadcast State可用于以特定方式组合和联合处理两个事件流。第一个流的事件被广播到一个算...
【flink学习笔记】【8】多流转换-分流、合流、连接流
qq_40273172的博客
04-10 1009
合流、分流、连接流
flink连接kafka用Scala代码实现
最新发布
03-26
以下是Scala代码实现Flink连接Kafka： ```Scala import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.streaming.connectors.kafka.{FlinkKafkaConsumer, FlinkKafkaProducer} import org.apache.flink.streaming.util.serialization.KeyedSerializationSchema object FlinkKafkaExample { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment //设置Kafka相关参数 val kafkaProps = new Properties kafkaProps.setProperty("bootstrap.servers", "localhost:9092") kafkaProps.setProperty("group.id", "test") //创建Kafka source val kafkaSource = new FlinkKafkaConsumer[String]( "topic1", new SimpleStringSchema, kafkaProps ) //创建Kafka sink val kafkaSink = new FlinkKafkaProducer[String]( "topic2", new KeyedSerializationSchema[String] { override def serializeKey(element: String): Array[Byte] = null override def serializeValue(element: String): Array[Byte] = element.getBytes("UTF-8") override def getTargetTopic(element: String): String = null }, kafkaProps ) //读取Kafka数据 val stream = env.addSource(kafkaSource) //处理数据 val processedStream = stream.map(x => x.toLowerCase()) //将数据写入Kafka processedStream.addSink(kafkaSink) env.execute("Flink Kafka Example") } } ``` 代码解释： - 首先，我们需要获取 `StreamExecutionEnvironment` 对象。 - 然后，我们需要设置 Kafka 相关参数。这些参数包括 `bootstrap.servers`（Kafka 服务器的地址）、`group.id`（消费者组 ID）等。 - 接下来，我们需要创建一个 Kafka 消费者 `FlinkKafkaConsumer` 和一个 Kafka 生产者 `FlinkKafkaProducer`。需要注意的是，在这里我们使用了 `SimpleStringSchema` 作为反序列化器，它可以将 Kafka 中的字符串数据直接转化为 Flink 中的字符串类型。 - 然后，我们创建一个流 `stream`，通过 `addSource` 方法从 Kafka 中读取数据。 - 接下来，我们对读取到的数据进行处理。在这个例子中，我们简单地将所有字母转换为小写。 - 最后，我们把处理后的数据写入 Kafka。使用 `addSink` 方法，将数据流连接到 Kafka 生产者上。 - 最后，我们通过 `env.execute()` 方法启动任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值