Flink系列（7）—— Flink Data Sink

已于 2025-01-07 11:45:16 修改
阅读量785 收藏
点赞数
分类专栏： 大数据从入门到精通 文章标签： flink 大数据 kafka scala
于 2023-10-27 10:44:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/134071293
版权
本专栏案例代码和数据集链接：   https://download.csdn.net/download/shangjg03/88477960

1. Data Sinks

在使用 Flink 进行数据处理时，数据经 Data Source 流入，然后通过系列 Transformations 的转化，最终可以通过 Sink 将计算结果进行输出，Flink Data Sinks 就是用于定义数据流最终的输出位置。Flink 提供了几个较为简单的 Sink API 用于日常的开发，具体如下：

1.1 writeAsText

了解本专栏 订阅专栏 解锁全文
Flink CDC系列之：学习理解核心概念——Data Sink
zhengzaifeidelushang的博客
10-26 532
数据接收器用于应用架构更改并将更改数据写入外部系统。数据接收器可以同时写入多个表。
Flink学习04——Data Sink 介绍
MLn Blog
07-23 279
Sink 简单说就是将Flink流计算的结果输出到某个地方(Mysql\Redis\Kafka\Cassandra etc)。 从上图可以看到自带的 Sink 都是继承了 RichSinkFunction 抽象类，实现其中的方法。那么我们要是自己定义 Sink 的话其实也是要按照这个方法来做。 这里我说下自己目前做告警这块就是把计算结果的Sink发到kafka和redis中。发送到kafka前面已经说过，这里主要展示下自定义redisSink的写法： 上图将结果的数据流addSink(new 自定义Sin
Flink流处理——Sink
m0_57126456的博客
11-12 2395
1：Kafka package com.atguigu.sink; import com.atguigu.bean.SensorReading; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.datastream.D
Java版Flink使用指南——定制RabbitMQ的Sink序列化器
方亮的专栏
07-09 1173
我们定义的序列化器SampleDataRabbitMQSerializer 需要实现SerializationSchema接口，主要是实现serialize方法，将SampleData对象转换成二进制数组。
Java版Flink使用指南——背压
方亮的专栏
07-11 984
通过这个无界数据流，我们可以持续给系统提供数据，进而方便我们测试。这块代码见《Java版Flink使用指南——自定义无界流生成器》。
Java版Flink使用指南——合流
方亮的专栏
07-10 1602
在中，我们通过addSink进行了输出分流。本文我们将介绍几种通过多个无界流输入合并成一个流来进行处理的方案。
Flink示例——Sink
蒋含竹的博客
02-10 1087
文章目录Flink示例——Sink版本信息自定义SourceFunctionPrint Sink 示例Kafka Sink 示例ElasticSearch Sink 示例Redis Sink 示例自定义 Sink 示例 （JDBC） Flink示例——Sink 版本信息 产品 版本 Flink 1.7.2 Java 1.8.0_231 Scala 2.11.12 自定义...
Flink——Sink
weixin_44240370的博客
10-24 560
文章目录KafkaRedisElasticSearch Flink没有类似Spark中foreach方法，让用户进行迭代的操作。虽有对外输出操作都要利用SInk完成。最后通过类似如下方式完成整个任务最终输出操作。 myDstream.addSink(new MySink(xxxx)) 官方提供了一部分的框架的Sink，初次之外需要用户自定义实现Sink。 本项目所有代码上传到https://...
Java版Flink使用指南——分流导出
方亮的专栏
07-10 580
新建src/main/java/org/example/generator/UnBoundedStreamGenerator.java这块的代码可以见《Java版Flink使用指南——自定义无界流生成器》它会每隔1秒钟生成一个递增的数字import org} }} }} }} }} }} }@Override@Override。
flink clickhouse sink
02-07
标题 "flink clickhouse sink" 指的是 Apache Flink 流处理框架与 ClickHouse 数据库集成的一种数据接收器，即 Flink 的 ClickHouse Sink。这个组件允许 Flink 应用程序将处理后的数据流实时写入 ClickHouse，实现...
Flink的sink实战之四：自定义
2401_84046645的博客
04-23 724
由于细节内容实在太多了，为了不影响文章的观赏性，只截出了一部分知识点大致的介绍一下，每个小节点里面都有更细化的内容！小编准备了一份Java进阶学习路线图（Xmind）以及来年金三银四必备的一份《Java面试必备指南》《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！[外链图片转存中…(img-xnzxd0i2-1713846545286)]由于细节内容实在太多了，为了不影响文章的观赏性，只截出了一部分知识点大致的介绍一下，每个小节点里面都有更细化的内容。
Flink学习笔记（4）——source and sink
anyitian的博客
05-10 676
文章目录前言从集合读取数据从文件读取数据从socket读取数据从kafka读取数据自定义Source 前言 flink中提供了很多种数据源，有基于本地集合的 source、基于文件的 source、基于网络套接字的 source、自定义的 source。自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter Streaming API、Apache NiFi 等，当然你也可以定义自己的 source。 Flink 常见的
Flink——实战之Redis Sink
困而学之，学思并重
04-18 4753
主要内容：实现Flink写数据到Redis，即Redis Sink。
Apache Flink 概述学习笔记
2401_82456630的博客
01-22 844
Apache Flink 凭借其强大的功能和特性，在大数据处理领域占据了重要地位。无论是实时流处理还是批量数据处理，Flink 都能提供高效、可靠的解决方案。对于想要深入学习大数据处理技术的同学来说，掌握 Flink 是非常必要的。
20250124 Flink中 窗口开始时间和結束時間
一條狗的博客
01-24 1122
标记了数据所属时间段的起点（如“8:00档”）。在 Flink 中，通过。
flink StreamGraph解析
最新发布
weixin_43839095的博客
01-27 805
Flink程序有三部分operation组成，分别是源source、转换transformation、目的地sink。这三部分构成DAG。DAG首先生成的是StreamGraph。用户代码在添加operation的时候会在env中缓存（变量transformations），在env.execute()执行的时候才会生成对应StreamGraph。
Flink运行时架构
金州饿霸吃不饱的博客
01-23 871
很显然，TaskManager的计算资源是有限的，并行的任务越多，每个线程的资源就会越少。一个数据流在算子之间传输数据的形式可以是一对一（one-to-one）的直通（forwarding）模式，也可以是打乱的重分区（redistributing）模式，具体是哪一种形式，取决于算子的种类。在Flink执行过程中，每一个算子（operator）可以包含一个或多个子任务（operator subtask），这些子任务在不同的线程、不同的物理机或不同的容器中完全独立地执行。在这种模式下，数据流的分区会发生改变。
Flink中的时间和窗口
金州饿霸吃不饱的博客
01-23 538
1.4.1 时间窗口1.4.2 计数窗口1.5.1 增量聚合函数（ReduceFunction / AggregateFunction）1.5.2 全窗口函数（full window functions）1.5.3 增量聚合和全窗口函数的结合使用
Flink把kafa数据写入Doris的N种方法及对比。
大模型大数据攻城狮的专栏
01-22 1027
用Flink+Doris来开发实时数仓，首要解决是如何接入kafka实时流，下面是参考Doris官方文档和代码，在自己项目开发的实践中总结，包括一些容易踩坑的细节。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值