【极数系列】Flink集成KafkaSink &amp； 实时输出数据（11）

最新推荐文章于 2024-05-20 09:57:35 发布
最新推荐文章于 2024-05-20 09:57:35 发布
阅读量754 收藏 26
点赞数 26
分类专栏： 程序员 文章标签： flink linq 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84160361/article/details/138272732
版权 

* `DeliveryGuarantee.NONE` 不提供任何保证：消息有可能会因 Kafka broker 的原因发生丢失或因 Flink 的故障发生重复。
* `DeliveryGuarantee.AT_LEAST_ONCE`: sink 在 checkpoint 时会等待 Kafka 缓冲区中的数据全部被 Kafka producer 确认。消息不会因 Kafka broker 端发生的事件而丢失，但可能会在 Flink 重启时重复，因为 Flink 会重新处理旧数据。
* `DeliveryGuarantee.EXACTLY_ONCE`: 该模式下，Kafka sink 会将所有数据通过在 checkpoint 时提交的事务写入。因此，如果 consumer 只读取已提交的数据（参见 Kafka consumer 配置 `isolation.level`），在 Flink 发生重启时不会发生数据重复。然而这会使数据在 checkpoint 完成时才会可见，因此请按需调整 checkpoint 的间隔。请确认事务 ID 的前缀（transactionIdPrefix）对不同的应用是唯一的，以保证不同作业的事务 不会互相影响！此外，强烈建议将 Kafka 的事务超时时间调整至远大于 checkpoint 最大间隔 + 最大重启时间，否则 Kafka 对未提交事务的过期处理会导致数据丢失。


## 05 指标监控


Kafka sink 会在不同的[范围（Scope）]( )中汇报下列指标。




| 范围 | 指标 | 用户变量 | 描述 | 类型 |
| --- | --- | --- | --- | --- |
| 算子 | currentSendTime | n/a | 发送最近一条数据的耗时。该指标反映最后一条数据的瞬时值。 | Gauge |


## 06 项目源码实战


### 6.1 包结构


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/04a49613acae4612b4930f0527e9d4ee.jpeg)


### 6.2 pom.xml依赖
<?xml version="1.0" encoding="UTF-8"?>


4.0.0

<groupId>com.xsy</groupId>
<artifactId>aurora_flink_connector_kafka</artifactId>
<version>1.0-SNAPSHOT</version>

<!--属性设置-->
<properties>
    <!--java_JDK版本-->
    <java.version>11</java.version>
    <!--maven打包插件-->
    <maven.plugin.version>3.8.1</maven.plugin.version>
    <!--编译编码UTF-8-->
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <!--输出报告编码UTF-8-->
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <!--json数据格式处理工具-->
    <fastjson.version>1.2.75</fastjson.version>
    <!--log4j版本-->
    <log4j.version>2.17.1</log4j.version>
    <!--flink版本-->
    <flink.version>1.18.0</flink.version>
    <!--scala版本-->
    <scala.binary.version>2.11</scala.binary.version>
</properties>

<!--通用依赖-->
<dependencies>

    <!-- json -->
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>${fastjson.version}</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-java -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-scala_2.12</artifactId>
        <version>${flink.version}</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-clients -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-clients</artifactId>
        <version>${flink.version}</version>
    </dependency>


    <!--================================集成外部依赖==========================================-->
    <!--集成日志框架 start-->
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-slf4j-impl</artifactId>
        <version>${log4j.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-api</artifactId>
        <version>${log4j.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>${log4j.version}</version>
    </dependency>

    <!--集成日志框架 end-->

    <!--kafka依赖 start-->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka</artifactId>
        <version>3.0.2-1.18</version>
    </dependency>
    <!--kafka依赖 end-->

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-base</artifactId>
        <version>1.18.0</version>
    </dependency>
</dependencies>

<!--编译打包-->
<build>
    <finalName>${project.name}</finalName>
    <!--资源文件打包-->
    <resources>
        <resource>
            <directory>src/main/resources</directory>
        </resource>
        <resource>
            <directory>src/main/java</directory>
            <includes>
                <include>**/*.xml</include>
            </includes>
        </resource>
    </resources>

    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.1.1</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <artifactSet>
                            <excludes>
                                <exclude>org.apache.flink:force-shading</exclude>
                                <exclude>org.google.code.flindbugs:jar305</exclude>
                                <exclude>org.slf4j:*</exclude>
                                <excluder>org.apache.logging.log4j:*</excluder>
                            </excludes>
                        </artifactSet>
                        <filters>
                            <filter>
                                <artifact>*:*</artifact>
                                <excludes>
                                    <exclude>META-INF/*.SF</exclude>
                                    <exclude>META-INF/*.DSA</exclude>
                                    <exclude>META-INF/*.RSA</exclude>
                                </excludes>
                            </filter>
                        </filters>
                        <transformers>
                            <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                <mainClass>org.aurora.KafkaStreamingJob</mainClass>
                            </transformer>
                        </transformers>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>

    <!--插件统一管理-->
    <pluginManagement>
        <plugins>
            <!--maven打包插件-->
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <version>${spring.boot.version}</version>
                <configuration>
                    <fork>true</fork>
                    <finalName>${project.build.finalName}</finalName>
                </configuration>
                <executions>
                    <execution>
                        <goals>
                            <goal>repackage</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

            <!--编译打包插件-->
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>${maven.plugin.version}</version>
                <configuration>
                    <source>${java.version}</source>
                    <target>${java.version}</target>
                    <encoding>UTF-8</encoding>
                    <compilerArgs>
                        <arg>-parameters</arg>
                    </compilerArgs>
                </configuration>
            </plugin>
        </plugins>
    </pluginManagement>
</build>

<!--配置Maven项目中需要使用的远程仓库-->
<repositories>
    <repository>
        <id>aliyun-repos</id>
        <url>https://maven.aliyun.com/nexus/content/groups/public/</url>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </repository>
</repositories>

<!--用来配置maven插件的远程仓库-->
<pluginRepositories>
    <pluginRepository>
        <id>aliyun-plugin</id>
        <url>https://maven.aliyun.com/nexus/content/groups/public/</url>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </pluginRepository>
</pluginRepositories>


### 6.3 配置文件


（1）application.properties

#kafka集群地址
kafka.bootstrapServers=localhost:9092
#kafka主题
kafka.topic=topic_a
#kafka消费者组
kafka.group=aurora_group


（2）log4j2.properties

rootLogger.level=INFO
rootLogger.appenderRef.console.ref=ConsoleAppender
appender.console.name=ConsoleAppender
appender.console.type=CONSOLE
appender.console.layout.type=PatternLayout
appender.console.layout.pattern=%d{HH:mm:ss,SSS} %-5p %-60c %x - %m%n
log.file=D:\tmprootLogger.level=INFO
rootLogger.appenderRef.console.ref=ConsoleAppender
appender.console.name=ConsoleAppender
appender.console.type=CONSOLE
appender.console.layout.type=PatternLayout
appender.console.layout.pattern=%d{HH:mm:ss,SSS} %-5p %-60c %x - %m%n
log.file=D:\tmp


### 6.4 创建sink作业

package com.aurora;

import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.connector.base.DeliveryGuarantee;
import org.apache.flink.connector.kafka.sink.KafkaRecordSerializationSchema;
import org.apache.flink.connector.kafka.sink.KafkaSink;
import org.apache.flink.connector.kafka.source.KafkaSource;
import org.apache.flink.connector.kafka.source.KafkaSourceBuilder;
import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer;
import org.apache.flink.runtime.state.StateBackend;
import org.apache.flink.runtime.state.filesystem.FsStateBackend;
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.CheckpointConfig;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.ArrayList;

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

[外链图片转存中…(img-hWBnvczc-1714275208113)]
[外链图片转存中…(img-9rPf0Mkg-1714275208114)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84160361
关注
  • 26
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
三相异步电动机的极数是如何确定的？
01-20
毫米波通信、毫米波雷达等与毫米波相关的概念正快速出现在我们的日常生活中，但对于毫米波技术，并非所有人均有所了解。为极大化普及毫米波相关概念，本文中将对毫米波技术以及毫米波芯片加以讲解，以增进大家对毫米...
Fastdata极数：2020年中国互联网家装行业报告.pdf.pdf
12-16
Fastdata极数：2020年中国互联网家装行业报告.pdf.pdf
最新【极数系列】Flink集成KafkaSink &amp； 实时输出数据（11）
2401_84185951的博客
05-04 321
Kafka sink 提供了构建类来创建。Kafka sink 会在不同的。
【极数系列】Flink集成KafkaSink &amp； 实时输出数据（11）(1)
2401_84160361的博客
04-28 176
【代码】【极数系列】Flink集成KafkaSink &amp;实时输出数据（11）(1)
【极数系列】Flink集成KafkaSink &amp； 实时输出数据
2401_84181286的博客
04-08 587
8)][外链图片转存中…(img-TB3csFhF-1712546124898)]
2024年最全【极数系列】Flink集成KafkaSink &amp； 实时输出数据（11），字节跳动算法工程师总结
2401_84592266的博客
05-10 867
(img-W7vVYwOM-1715285429017)](img-FpbwbCNX-1715285429017)]@description kafka 连接器使用demo作业。@author 浅夏的猫。#kafka集群地址。#kafka消费者组。
2024年最新【极数系列】Flink集成KafkaSink &amp； 实时输出数据（11）(1)，2024年最新附赠课程+题库
e846815793的博客
05-05 421
Kafka sink 提供了构建类来创建。Kafka sink 会在不同的。
2024年【极数系列】Flink集成KafkaSink &amp； 实时输出数据（11），2024年最新被阿里面试官征服了
2401_84181326的博客
05-13 137
【代码】2024年【极数系列】Flink集成KafkaSink &amp;实时输出数据（11），2024年最新被阿里面试官征服了。
大数据最新【极数系列】Flink集成KafkaSink &amp； 实时输出数据（11）(1)，大数据开发春招实习面试经验汇总
2401_84181942的博客
05-12 467
如果使用DeliveryGuarantee.EXACTLY_ONCE 的语义保证，则需要使用 setTransactionalIdPrefix(String)消息序列化器（Serializer）, setRecordSerializer(KafkaRecordSerializationSchema)(img-u3pSDroL-1715444395271)](img-TqQIkXsp-1715444395270)]，Flink checkpoint 必须启用。#kafka集群地址。#kafka消费者组。
2024年大数据最新【极数系列】Flink集成KafkaSink &amp； 实时输出数据（11），阿里P8大牛从零开始教大数据开发开源框架
2401_84573219的博客
05-05 790
如果使用DeliveryGuarantee.EXACTLY_ONCE 的语义保证，则需要使用 setTransactionalIdPrefix(String)消息序列化器（Serializer）, setRecordSerializer(KafkaRecordSerializationSchema)(img-HVedRX4F-1714883698801)](img-NY307xKL-1714883698802)](img-otaDZg7X-1714883698802)]总共支持三种不同的语义保证（
2024年最全【极数系列】Flink集成KafkaSink &amp； 实时输出数据（11）(2)，“金三银四”春招指南
2401_84182665的博客
05-14 449
如果使用DeliveryGuarantee.EXACTLY_ONCE 的语义保证，则需要使用 setTransactionalIdPrefix(String)消息序列化器（Serializer）, setRecordSerializer(KafkaRecordSerializationSchema)(img-yPBsE6Ui-1715637599314)](img-BWjMYiW4-1715637599314)](img-Jybopqx3-1715637599314)]总共支持三种不同的语义保证（
极数-2021开放数字资产价值报告.pdf
08-17
极数-2021开放数字资产价值报告 极数-2021开放数字资产价值报告 极数-2021开放数字资产价值报告
1_2021年中国生鲜电商行业报告-Fastdata极数.pptx
04-17
中国生鲜电商行业发展现状 中国城镇居民年食品支出超7万亿元 生鲜消费线上交易占比仅为3.4% 2021年前三季度，生鲜电商融资金额77.7亿元 前三季度生鲜电商交易额超2300亿元，增速放缓 生鲜电商平台模式及竞争分析...
2000-2020政府工作报告数据分析-Fastdata极数-202006.pdf
04-08
2000-2020政府工作报告数据分析-Fastdata极数-202006.pdf
Flink parallelism 和 Slot 介绍
mqiqe的专栏
05-17 531
并行度（Parallelism）：指的是一个算子（Operator）或任务（Task）的并行实例数量。换句话说，它决定了 Flink 集群中同时处理输入数据的子任务数量。Slot：在 Flink 中，一个 Slot 可以看作是一个 TaskManager 上的一个资源子集，用于执行一个或多个 Task（任务）。每个 TaskManager 可以拥有多个 Slot，而每个 Slot 可以执行一个或多个 Task。
32、Flink 的 DataStream API 物理分区算子详解
猫猫爱吃小鱼粮
05-15 361
Flink 的 DataStream API 物理分区算子详解
计算机毕业设计PyFlink+Spark+Hive民宿推荐系统 酒店推荐系统 民宿酒店数据分析可视化大屏 民宿爬虫 民宿大数据 知识图谱 机器学习
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
05-19 774
计算机毕业设计PyFlink+Spark+Hive民宿推荐系统 酒店推荐系统 民宿酒店数据分析可视化大屏 民宿爬虫 民宿大数据 知识图谱 机器学习
35、Flink 的窗口生命周期详解
最新发布
猫猫爱吃小鱼粮
05-20 238
Flink 的窗口生命周期详解
python无穷极数法
11-24
根据提供的两个引用，可以看出这是一个计算圆周率π的无穷级数方法。下面是一个Python的无穷级数计算圆周率π的例子： ```python pi = 0.0 fuhao = 1 for i in range(1, 1000000000): if fuhao == 1: ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值