FLINK 基于1.15.2的Java开发-连接kafka并把内容sink到redis

置顶 TGITCIC

已于 2022-10-04 14:54:07 修改

阅读量1.9k

点赞数 1

于 2022-10-02 02:22:59 首次发布

本文链接：https://blog.csdn.net/lifetragedy/article/details/127139476

版权

flink 专栏收录该内容

16 篇文章 9 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何使用FLINK 1.15.2版本通过Java开发连接Kafka消费数据，并将数据以HashMap结构存储到Redis。内容涵盖接入Kafka的配置、数据拆分以及使用Sink到Redis的实现步骤，提供了关键代码示例，包括LineSplitter和SinkRedisMapper类的功能解析。项目运行部分指导了从启动Zookeeper、Kafka到运行Flink应用的完整流程。

摘要由CSDN通过智能技术生成

需求

在kafka发送plainText消息，以逗号分割。逗号前的作为key，逗号后的作为value。

然后把kafka发过来的东西以Redis的HashMap结构存入flink这个主Key中去。

进入开发

为了解决这个问题，我们需要在前两个的范围内解决掉以下三个问题：

flink如何接入kafka
flink如何不作统计（前两课我们用的是烂网上的wordcount例子）只接入流和折分
flink如何sink到Redis

flink如何接入kafka

pom.xml

<!-- redis特性-->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-redis_2.11</artifactId>
    <v

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

TGITCIC

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

FLINK 基于1.15.2的Java开发-使用AggregateFunction解决以天为单位诸如PV、UV等统计的实时计算

lifetragedy的专栏

10-21

2074

本篇以一个实际生产需求讲透如何使用Flink 1.15.2的AggregateFunction来实现“实时统计一天内数据”、“对于天为单位来作实时累加统计”，诸如：PV、UV实时变化一类的需求。由于目前网上大多例子都是Hello Word级别或者有的代码是早于1.10版的，这些都已经被deprecate掉了。因此鉴目前市面上完全基于Flink 1.15.2版并能结合实际生产级别需求的方案几乎全无。我这个系列也算是对Flink中文方面资料的一个补足。

FLINK 基于1.15.2的Java开发-实时流计算商品销售热榜

lifetragedy的专栏

10-02

1272

以下这个例子是全网段找不到的，连书上都不写的，它是一个基于flink1.15.2实时计算热卖商品销量排行榜的例子，它接近于生产级应用。后续会扩展成“生产级应用”的代码还缺了哪些关键技术点需要打通。

参与评论您还未登录，请先登录后发表或查看评论

Flink的sink实战之二：kafka

最新发布

2401_89284288的博客

12-08

642

本次实战的环境和版本如下：操作系统：macOS Catalina 10.15.3 （MacBook Pro 13-inch, 2018）请确保上述环境和服务已经就绪；

Flink Java操作Kafka

技术札记

06-21

3096

0.8 kafka版本 2.11 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.8_2.11</artifactId> <version>1.8.0</version> </de...

flink-java版学习-3-kafka

huobumingbai1234的博客

01-17

493

flink的source使用比较多的是kafka，本地测试连接公司的集群没有成功，先记录下 package com.shihuo.apitest_source; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api....

Flink-java读取Kafka(转载+自己验证)

微电子学与固体电子学-俞驰

06-26

955

内容主要来自[1] 作用类数据输入到kafka KafkaProducerTest(Top) MemoryUsageExtrator Flink进行消费 KafkaMessageStreaming(Top) MessageSplitter MessageWaterEmitter Intellij中实验步骤: ①启动Zookeeper与Kafka集群 ②运行KafkaProducerTest ③运行K..

FLINK 基于1.15.2的Java开发-读文件并把内容 sink到redis

lifetragedy的专栏

10-02

1375

flink如何把文本文件按照固定规则切割后sink到redis的操作。

flink 安装包 1.15.2(flink-1.15.2-bin-scala_2.12 .tgz)

10-08

下载完成后，使用解压工具将其解压到你希望的目录，例如 `~/flink-1.15.2`。 3. **配置 Flink**：进入解压后的目录，找到 `conf` 文件夹，其中 `flink-conf.yaml` 是主要的配置文件。你可以根据需求调整诸如 ...

FLINK 基于1.15.2的Java开发-自定义Redis Sink用于连接 Redis Sentinel模式

lifetragedy的专栏

10-04

1552

通过自定义flink的redis sink组件实现连接sentinel-哨兵模式以及自定义自己的redis读写业务逻辑。同时通过这一个例子，把之前的读kafka、反序列化、日志功能全部集成在一个例子中，这个例子就是一个完备的并可以适用于真实生产的实际例子。

FLINK 基于1.15.2的Java开发-入门

lifetragedy的专栏

10-02

1751

flink java入门每一课。在这一系列中我们将使用最新的flink1.15.2版

Flink的sink实战之二：kafka，java面试题大汇总云栖社区

m0_63174529的博客

12-04

442

Kafka：2.4.0 Zookeeper：3.5.5 请确保上述环境和服务已经就绪；源码下载如果您不想写代码，整个系列的源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blog_demos)： | 名称 | 链接 | 备注 | | :-- | :-- | :-- | | 项目主页 | https://github.com/zq2599/blog_demos | 该项目在GitHub上的主页 | | git仓库地址(https) | ..

Flink Java 之读取 kafka 数据与数据写入 kafka

weixin_46376562的博客

07-04

2922

序列与反序列化 kafka 数据 Flink Kafka Consumer 需要知道如何将 Kafka 中的二进制数据转换为 Java 或者 Scala 对象。KafkaDeserializationSchema 允许用户指定这样的 schema，每条 Kafka 中的消息会反序列化。以上代码采用最简单的SimpleStringSchema。为了方便使用，Flink 提供了以下几种 schemas：TypeInformationSerializationSchema（和 Typ...

flink-kafka 简单例子(java) map, filter, sink

热门推荐

Smileyan's blog

10-30

1万+

问题描述很久以前实习的时候接触flink，并且在此方面做了很多工作，但是过了几年时间，居然再次搭建 kafka-flink 会遇到那么多困难，无意间翻到那个时候写的文档，这里再次总结并公开一下，希望也能帮到需要的人。效果描述首先必须强调一点：以下内容并不是以 flink 的job的方式在flink中运行，但是，可以打包成 jar ，然后提交到 flink 中运行。因为本地测试的需要，一般这种入门级别，用来验证 kafka 的项目，本地运行即可。当启动本地 IDE，即进入监听 kafka 的状态，然

java读取kafka_flink读取kafka数据（java）

weixin_33532756的博客

02-21

1767

目前读取kafka的需求较多，在此做记录。pom依赖org.apache.flinkflink-connector-kafka_2.121.10.1org.apache.flinkflink-java1.10.0org.apache.flinkflink-streaming-java_2.121.10.0providedorg.apache.flinkflink-clients_2.121.10....

Java代码：使用flink消费kafka消息代码示例

学亮编程手记

08-31

823

总体而言，该示例代码使用 Kafka 客户端库创建一个 Kafka 生产者，并循环发送随机选择的单词和 UUID 到 Kafka 主题。这段代码是一个简单的 Kafka Flink 消费者示例。它使用 Apache Flink 框架来消费 Kafka 中的消息，并对消息进行处理和统计。综上所述，该配置文件定义了一个将日志输出到系统标准输出的输出器，并设置了输出的格式和级别。总体而言，该示例代码使用 Flink 框架消费 Kafka 消息，并对消息进行单词拆分、计数和打印输出的简单处理。

Flink KafkaSink

weixin_45607513的博客

03-06

2170

Kafka集成 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.10.0</version> </dependency> ...

Flink kafkaSink

文报的博客

06-21

6031

因为是用sql写的，写KafkaSink的时候，是准备用KafkaTableSink有两个问题，第一个KafkaTableSink只能接受appendstream但是table流是包含了删除的(流回撤)，所以使用不了。使用的还是必须经过Filter将Table流中的false流剔除。第二个问题，进入KafkaTableSink的源码: public KafkaTableSink( ...

Flink之Kafka Sink

AnameJL的博客

07-25

1751

Kafka Sink

Java整合Flink流式处理从Kafka获取的数据

宝华的小岛

05-22

2882

上次的例子https://blog.csdn.net/xxkalychen/article/details/117149540?spm=1001.2014.3001.5502将Flink的数据源设置为Socket，只是为了测试提供流式数据。生产中一般不会这么用，标准模型是从消息队列获取流式数据。Flink提供了跟kafka连接的封装，我们只需要一点小小的改动就可以实现从Kafka获取数据。不过修改之前，需要搭建一个Kafka服务器。具体搭建过程这里不做详述。现在我们来修改程序。一、添加pom依赖。

Flink与Kafka整合实现数据传输至Redis解决方案

这涉及到Flink的Kafka Connector，它允许Flink从Kafka Topic读取数据，并通过配置Redis的Sink来将处理后的数据写入Redis。在实现时，通常需要定义一个Flink数据源（Source）来连接Kafka，并配置相应的键值对映射和...