Flink的sink实战之一：初探(1)

于 2024-04-23 12:26:21 发布
阅读量1k 收藏 19
点赞数 26
分类专栏： 程序员 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84046545/article/details/138120246
版权
本文通过实例探讨了ApacheFlink中的DataStreamsink机制，重点剖析了addSink方法以及SinkFunction接口的实现，包括print和writeAsText等常见sink操作背后的原理。作者分享了个人经验，强调了自学Java开发资源的重要性。
摘要由CSDN通过智能技术生成

全系列链接

  1. 《Flink的sink实战之一：初探》

  2. 《Flink的sink实战之二：kafka》

  3. 《Flink的sink实战之三：cassandra3》

  4. 《Flink的sink实战之四：自定义》

从一段实例代码开始

  1. 下面是个简单的flink应用代码，红框中的print方法就是sink操作：

在这里插入图片描述

  1. 下图是官方给出的sink方式，都是DataStream类的API，直接调用即可实现sink，刚才代码中的print就是其中一个：

在这里插入图片描述

  1. 接下来看看上图中API的源码，先看print方法，在DataStream.java中，如下，实际上是调用了addSink方法，入参是PrintSinkFun
最低0.47元/天 解锁文章
FLINK 基于1.15.2的Java开发-连接kafka并把内容sink到redis
lifetragedy的专栏
10-02 1970
flink连接kafka并把相应的通过kafka输入的内容sink到redis
Flink的sink实战之一：初探，java面试常问题
m0_63174475的博客
11-04 354
[]( )从一段实例代码开始 下面是个简单的flink应用代码，红框中的print方法就是sink操作： 下图是官方给出的sink方式，都是DataStream类的API，直接调用即可实现sink，刚才代码中的print就是其中一个： 接下来看看上图中API的源码，先看print方法，在DataStream.java中，如下，实际上是调用了addSink方法，入参是PrintSinkFunction： 另一个常用API是writeAsText，源码如下，调用了writeUsingOutp
Java版Flink（八）sink输出
qq_41311979的博客
03-16 849
一、概述 Flink输出主要通过sink完成，比如 dataStream.addSink(new MySink(XXX))。Flink集成了一些框架sink，官网Sink介绍 二、kafka sink 2.1、依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.11_2.12</artifactId> <vers
flink结合Java_Flink的sink实战之四：自定义
weixin_32818587的博客
03-01 550
基于apache flink的流处理实时模型44元包邮(需用券)去购买 >欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；本篇概览Flink官方提供的sink服务可能满足不了我们的需要，此时可以开发自定义的sink，文本就来一起实战；全系列链...
java Flink使用addSink方法保存流到mysql数据库中
呆萌的代Ma
11-13 4196
博主把核心的内容写在最前面，其他内容和完整的代码放在最后面哈： 文章目录主要代码其他内容：MyData2类，与生成数据源的类MyDataSource2 主要代码 package write_to_mysql; import create_data.MyData2; // 格式见其他内容 import create_data.MyDataSource2; // 格式见其他内容 import org.apache.flink.streaming.api.datastream.DataStreamSource;
Flink（七）【输出算子（Sink）】
功不唐捐，玉汝于成
11-18 2241
Flink Sink输出算子
Flink的sink实战之一：初探
最新发布
2401_84412689的博客
04-18 759
为了这次面试，也收集了很多的面试题！以下是部分面试题截图。
Flink的sink实战之一：初探，2024年最新spring框架教程推荐
2401_84166458的博客
04-11 707
如上图所示，RichSinkFunction本身没有内容，但是它实现SinkFunction，继承AbstractRichFunction，是RichFunction和SinkFunction这两种特性的结合；RichFunction的特性在前面的中已经了解，就是资源的open和close；SinkFunction的特性呢？
flink学习(6)之sink
枣泥馅的博客
03-08 1462
在flink的官方文档中看到，无论是source还是sink都称之为flink的Connectors 点击overview然后就可以看到它所有的cnnectors 从上边的图片中我们发现，这些组件不是都作为source和sink，有的可以作为source，有的可以作为sink，有的同时当做source和sink。我们点击Redis(sink) 可以看到flink提供了一个接口把数据发送的redis中。这个sink可以使用三种不同的方法与redis不同的环境进行通信。 1、Single Redis Se
java flink使用addSink方法保存流数据到redis
呆萌的代Ma
11-19 3385
博主把核心的内容写在最前面，其他内容和完整的代码放在最后面哈： 文章目录pom配置主要代码其他内容：MyData2类，与生成数据源的类MyDataSource2 pom配置 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.0
Flink学习7-自定义sink实现
qq_40342691的博客
12-09 1124
自定义sink
Java-Sink接口源码分析以及继承关系
li_xunhuan的博客
08-25 1099
idea继承图例说明： 实线箭头是指继承关系 虚线箭头是指接口实现关系 绿色代表接口 蓝色代表接口以及抽象类  Sink继承于Consumer，实际上就是比Consumer接口多了几个方法：begin、end、cancellationRequested ofDouble/ChainedDouble/ChainedReference都是Sink接口的内部接口，理解它们三者的继承关系对于理解...
Flink流处理API——Sink
静远小和尚的博客
08-11 851
原文链接：https://www.toutiao.com/i6859235904779715076/ 本文主要从以下几个方面介绍Flink的流处理API——Sink 一、输出到Kafka 二、输出到Redis 三、输出到MySQL 数据处理的过程基本可以分为三个阶段分别是，数据从来哪里，做什么业务逻辑，落地到哪里去。 这三部分在Flink中分别被称为Source、Transform和Sink 其中Source部分可以参考这篇：Flink流处理API——Source Flink 没有类似于 s
flink实战：flink自定义sink，以入solr、mongodb为例
Chenftli的博客
12-29 1494
自定义sink需要继承 RichSinkFunction，重写open、invoke、close三个方法，open方法主要实现一些公共资源的开启工作，如mongo、solr的连接客户端。invoke会在每条数据进入后调用，主要写一些数据的转化、插入、查询等具体的实际业务。这个查询了mongo中的数据，转化长对应的javaBean，更新了传入的javaBean以后，转化成document，存入mongodb。下面我给大家两个实例，一个是sink solr的，一个是sink mongo的。
Flink中richfunction的一点小作用
热门推荐
a6822342的博客
10-12 1万+
①传递参数 所有需要用户定义的函数都可以转换成richfunction，例如实现map operator中你需要实现一个内部类，并实现它的map方法：data.map (new MapFunction<String, Integer>() { public Integer map(String value) { return Integer.parseInt(value); } });然后我们
java stream TerminalOp和sink
fei33423的专栏
03-08 296
stream两大核心类TerminalOp 和sink 目录 stream两大核心类TerminalOp 和sink TerminalOp​( ReduceOp , ForEachOp 等) 封装sink TerminalOp​( ReduceOp , ForEachOp 等) 方法: evaluateParallel , evaluateSequential compute calculate evaluate 的区别? 封装sink 通过termi...
数据湖实操讲解【OSS 访问加速】第七讲：Flink 高效 sink 写入 OSS
weixin_45906054的博客
06-03 1661
数据湖技术圈本期导读 ：【OSS 访问加速】第七讲主题：Flink 高效 sink 写入 OSS讲师：重湖，阿里巴巴计算平台事业部 EMR 高级工程师内容框架：背景介绍功能介绍如何配置如...
java实现flink获取mysql多张表信息_Flink的sink实战之四：自定义
06-10
非常感谢您的提问！如果您想要在Flink中获取MySQL多张表的信息，可以按照如下步骤进行： 1. 首先需要在Flink中使用JDBC连接器连接MySQL数据库，并创建一个JDBC输入源，以便从MySQL中读取数据。 2. 然后可以通过Flink的Table API或SQL API将多张表的数据进行连接或者关联，从而得到您需要的数据。 3. 最后可以使用自定义的Sink将数据写入MySQL中。下面就是一个简单的Java代码示例，可以帮助您实现该功能： ``` public class FlinkMySQLSink { public static void main(String[] args) throws Exception { // set up the execution environment StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // set up JDBC connection options String url = "jdbc:mysql://localhost:3306/test"; String username = "root"; String password = "password"; String driverName = "com.mysql.jdbc.Driver"; // create a JDBC input source to read multiple tables from MySQL JdbcInputFormat jdbcInputFormat = JdbcInputFormat.buildJdbcInputFormat() .setDrivername(driverName) .setDBUrl(url) .setUsername(username) .setPassword(password) .setQuery("SELECT * FROM table1; SELECT * FROM table2;") .finish(); // create a data stream from the JDBC input source DataStream<Tuple2<String, String>> inputDataStream = env.createInput(jdbcInputFormat); // use Table API or SQL API to join or combine multiple tables Table table = inputDataStream .map(new MapFunction<Tuple2<String, String>, Row>() { public Row map(Tuple2<String, String> value) throws Exception { return Row.of(value.f0, value.f1); } }) .toTable(new TableSchema(new String[]{"column1", "column2"}, new TypeInformation[]{Types.STRING, Types.STRING})); // create a custom Sink to write data back to MySQL JDBCOutputFormat jdbcOutputFormat = JDBCOutputFormat.buildJDBCOutputFormat() .setDrivername(driverName) .setDBUrl(url) .setUsername(username) .setPassword(password) .setQuery("INSERT INTO result_table (column1, column2) VALUES (?, ?)") .finish(); // write the data stream to the custom Sink table.writeToSink(jdbcOutputFormat); // execute the Flink job env.execute("Flink MySQL Sink Example"); } } ``` 在这个示例中，我们首先设置了JDBC连接器所需的参数，然后使用JdbcInputFormat创建了一个JDBC输入源，该源可以从MySQL中读取多个表的数据。 接下来，我们使用Table API或SQL API将多个表的数据连接或者关联起来，并生成一个包含所需数据的Table对象。 最后，我们使用自定义的JDBCOutputFormat创建一个Sink，将Table中的数据写回到MySQL中。在这个Sink中，我们需要指定要写入哪个表，以及如何将数据映射到表中的列。 希望这个示例可以帮助您实现获取MySQL多张表信息的功能！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值