Flink学习第八天——Flink核心的Sink Operator实战

最新推荐文章于 2024-04-23 12:29:16 发布
最新推荐文章于 2024-04-23 12:29:16 发布
阅读量656 收藏
点赞数
分类专栏： Flink从小白变小黑 文章标签： flink 大数据 java kafka spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16397653/article/details/126394869
版权
本文介绍了Flink编程模型中的Sink概念，包括预定义的Sink和自定义SinkFunction。详细讲解了如何使用Flink自定义SinkFunction连接MySQL，并提供了Flink整合自定义RedisSink的实践，探讨了Flink通过Bahir Connector存储数据到Redis6.X的方法，包括RedisMapper接口的实现。最后展示了Flink商品销量统计并存储至自定义Redis Sink的实战案例。
摘要由CSDN通过智能技术生成

一、Flink编程模型

  • Sink 输出源

    • 预定义

      • print
      • writeAsText （过期）

    • 自定义

      • SinkFunction

      • RichSinkFunction

        • Rich相关的api更丰富，多了Open、Close方法，用于初始化连接等

    • flink官方提供 Bundle Connector

      • kafka、ES 等

    • Apache Bahir

      • kafka、ES、Redis等

二、Flink 自定义的SinkFunction 数据源输出案例实战

  • 自定义

    • SinkFunction

    • RichSinkFunction

      • Rich相关的api
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Java天下第1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink系列：Sink数据输出之ES连接器
NIO4444
05-31 2288
Flink系列：Sink数据输出之ES连接器
flink 写入到es_Flink学习（十一） Sink到Elasticsearch
weixin_39549936的博客
12-22 944
packagecom.wyh.streamingApi.sinkimportjava.utilimportorg.apache.flink.api.common.functions.RuntimeContextimportorg.apache.flink.streaming.api.scala._importorg.apache.flink.streaming.connectors.elastic...
【Flink实战】玩转Flink里面核心的Sink Operator实战
大数据小禅的博客
09-13 1733
在Flink中，Sink Operator（也称为Sink Function或Sink）是指负责将DataStream或DataSet的数据发送到外部存储或外部系统的操作符。Sink Operator是Flink的数据输出端，它的作用是将处理过的数据写入目标位置，如数据库、文件系统、消息队列等。Sink Operator通过将数据传输到外部系统来完成最终的数据存储、展示或其他类型的处理。它可以将数据单个地或批量地发送到目标系统，具体取决于Sink操作符的实现。
Flink sink ES 写入 ES(带密码)
hunheidaode的博客
11-19 3789
1.依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.1</version> </dependency> ..
Flink常用Sink(elasticsearch(es)Sink、RedisSink、KafkaSink、MysqlSink、FileSink）
龙飞的博客
11-26 880
将数据输出到kafka中,先启动kafka consumer，再运行程序。当程序运行结束之后可以看到mysql的events表里面多了数据。因为上述source是一个无界流，所以数据一直会变化。将数据输出到elasticsearch中。将数据输出到文件中(可以输出分区文件)运行结束后会多出来一些文件。自己先准备一下相关环境。将数据输出到Redis。将数据输出到mysql。
Flink的sink实战之四：自定义
最新发布
2401_84046645的博客
04-23 624
由于细节内容实在太多了，为了不影响文章的观赏性，只截出了一部分知识点大致的介绍一下，每个小节点里面都有更细化的内容！小编准备了一份Java进阶学习路线图（Xmind）以及来年金三银四必备的一份《Java面试必备指南》《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！[外链图片转存中…(img-xnzxd0i2-1713846545286)]由于细节内容实在太多了，为了不影响文章的观赏性，只截出了一部分知识点大致的介绍一下，每个小节点里面都有更细化的内容。
flink学习资料（包含网盘视频地址）
02-27
2. **DataStream API**：学习Flink的数据模型，包括DataStream、Event Time、Window和Operator的状态管理。了解如何定义Source、Transformation（如Map、Filter、KeyBy）和Sink。 3. **Flink的窗口操作**：深入研究...
【白话Flink基础理论】Flink中的容错机制——检查点CheckPoint&屏障Barrier&保存点SavePoint
橙心橙意橙续缘的博客
12-20 1069
——wirte by 橙心橙意橙续缘， 前言 白话系列 ———————————————————————————— 也就是我在写作时完全不考虑写作方面的约束，完全把自己学到的东西、以及理由和所思考的东西等等都用大白话诉说出来，这样能够让信息最大化的从自己脑子里输出并且输入到有需要的同学的脑中。PS：较为专业的地方还是会用专业口语诉说，大家放心！ 白话Flink系列 ———————————————————————————— 主要是记录本人（国内某985研究生）在Flink基础理论阶段学习的一些所学，更重要的是一
flink实战--flink整合kafka (kafka source 与 kafka sink)
阿华田的博客
12-26 1万+
简介 Flink提供的Kafka连接器，用于向Kafka主题读取或写入数据。Flink Kafka Consumer集成了Flink的检查点机制，可提供一次性处理语义。为实现这一目标，Flink并不完全依赖kafka的消费者群体偏移跟踪，而是在内部跟踪和检查这些偏移。 Maven 依赖 支持到的版本 生产者和消费者类的名成 Kafka version ...
Flink原理、实战与性能优化.pdf
11-10
Flink原理、实战与性能优化.pdf
Flink es sink的一次历险
chentangdan2377的博客
05-29 1560
不谈需求的铺代码==耍流氓。。。 需求（概略）：从kafka读数据=》业务处理=》写入es=》写入kafka（通过kafka通知其他业务：某条数据的id,以及所在es的索引） 第一版代码（摘要）： //写入es mapDs.addSink(new Elasticsear...
flink 写入到es_Flink从入门到真香(十、Sink数据输出-Elasticsearch）
weixin_39774219的博客
12-31 881
目标： 从txt文件中读取数据，写入es,我这里用的es7.9，若是用的es7以前的版本下面代码中有个.type("_doc") 类别须要设置java若是没有es和kibana(可选)环境能够先安装apache安装es7wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.3-x86_64.rpmwg...
【深入浅出flink】第6篇：详解flink中Text Sink、Csv Sink、Socket Sink、Kafka Sink、Redis Sink、ES Sink，以及万能的UDF Sink
雷恩Layne
01-12 2822
Sink 用来消费 DataStream数据的。Flink提供了很多预置的Sink方法，比如Text Sink、Csv Sink、Socket Sink、Kafka Sink、Redis Sink、ES Sink。当现有的Sink不能满足需求时，用户也可以实现自定义sink，用来解决复杂需求。
0.3 Flink--Kafka2Es之写入Es
写bug的码农
07-24 3091
前期成功将数据以json形式从kafka中读取出来，此片文档记录数据根据需求录入Es。 需求： index名字： YYYYMMDD-http,YYYYMMDD-dns 其中索引根据数据中的recv_time、log_type字段确定 思路flink类似Flume，数据处理由Source、Sink作为输入输出，因此Es逻辑在自定义的EsSink中实现即可。 参考网页： https://ci.a...
Flink实战案例四部曲
play_big_knife的博客
12-20 3065
使用Flink程序结合实际应用分析网络日志，分析交通灯的车流量等实战程序。充分使用window窗口实现 fiink程序在实际应用中的扩展。
flink实战--flink原理解析
热门推荐
阿华田的博客
09-30 2万+
Flink出现的背景 我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法............
Flink+Alink，当大数据遇见机器学习！ 博文视点Broadview 前天
博文视点（北京）官方博客
06-03 818
以下内容节选自《Flink实战派》一书！ 大数据技术和人工智能（机器学习）的结合，使利用数据价值的技术有了新的突破。 在通常情况下，大数据技术与机器学习是互相促进、相依相存的关系。 01 大数据和机器学习之间的关系 机器学习不仅需要合理、适用和先进的算法，还需要依赖足够好和足够多的数据。 大数据可以提高机器学习模型的精确性。 数据的数据量越多，质量越高，机器学习的效率和准确性就越高。机器学习是大数据分析的一个重要方向（方式）。 大数据技术深度结合人工智能将是未来发展的一个重要方向。 大数据实时计算框架Fl
双亲委派模型与 Flink 的类加载策略
Ververica的博客
08-26 1733
我们知道，在 JVM 中，一个类加载的过程大致分为加载、链接（验证、准备、解析）、初始化5个阶段。而我们通常提到类的加载，就是指利用类加载器（ClassLoader）通过类的全限定名来获...
每个flink程序由source operator + transformation operator + sink operator组成
05-09
3. Sink Operator：用于将数据流写入外部系统（例如Kafka，HDFS，数据库等）或将结果打印到控制台等。 这些操作符可以按照需要组合在一起，以构建复杂的数据处理流程。同时，Flink还提供了许多高级功能，例如窗口，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java天下第1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值