2024年最全【极数系列】Flink集成KafkaSink &amp； 实时输出数据（11），字节跳动算法工程师总结

于 2024-05-10 04:11:00 发布
阅读量875 收藏 24
点赞数 10
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84592266/article/details/138641810
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

    <!-- json -->
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>${fastjson.version}</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-java -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-scala_2.12</artifactId>
        <version>${flink.version}</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-clients -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-clients</artifactId>
        <version>${flink.version}</version>
    </dependency>


    <!--================================集成外部依赖==========================================-->
    <!--集成日志框架 start-->
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-slf4j-impl</artifactId>
        <version>${log4j.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-api</artifactId>
        <version>${log4j.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>${log4j.version}</version>
    </dependency>

    <!--集成日志框架 end-->

    <!--kafka依赖 start-->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka</artifactId>
        <version>3.0.2-1.18</version>
    </dependency>
    <!--kafka依赖 end-->

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-base</artifactId>
        <version>1.18.0</version>
    </dependency>
</dependencies>

<!--编译打包-->
<build>
    <finalName>${project.name}</finalName>
    <!--资源文件打包-->
    <resources>
        <resource>
            <directory>src/main/resources</directory>
        </resource>
        <resource>
            <directory>src/main/java</directory>
            <includes>
                <include>**/*.xml</include>
            </includes>
        </resource>
    </resources>

    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.1.1</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <artifactSet>
                            <excludes>
                                <exclude>org.apache.flink:force-shading</exclude>
                                <exclude>org.google.code.flindbugs:jar305</exclude>
                                <exclude>org.slf4j:*</exclude>
                                <excluder>org.apache.logging.log4j:*</excluder>
                            </excludes>
                        </artifactSet>
                        <filters>
                            <filter>
                                <artifact>*:*</artifact>
                                <excludes>
                                    <exclude>META-INF/*.SF</exclude>
                                    <exclude>META-INF/*.DSA</exclude>
                                    <exclude>META-INF/*.RSA</exclude>
                                </excludes>
                            </filter>
                        </filters>
                        <transformers>
                            <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                <mainClass>org.aurora.KafkaStreamingJob</mainClass>
                            </transformer>
                        </transformers>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>

    <!--插件统一管理-->
    <pluginManagement>
        <plugins>
            <!--maven打包插件-->
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <version>${spring.boot.version}</version>
                <configuration>
                    <fork>true</fork>
                    <finalName>${project.build.finalName}</finalName>
                </configuration>
                <executions>
                    <execution>
                        <goals>
                            <goal>repackage</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

            <!--编译打包插件-->
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>${maven.plugin.version}</version>
                <configuration>
                    <source>${java.version}</source>
                    <target>${java.version}</target>
                    <encoding>UTF-8</encoding>
                    <compilerArgs>
                        <arg>-parameters</arg>
                    </compilerArgs>
                </configuration>
            </plugin>
        </plugins>
    </pluginManagement>
</build>

<!--配置Maven项目中需要使用的远程仓库-->
<repositories>
    <repository>
        <id>aliyun-repos</id>
        <url>https://maven.aliyun.com/nexus/content/groups/public/</url>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </repository>
</repositories>

<!--用来配置maven插件的远程仓库-->
<pluginRepositories>
    <pluginRepository>
        <id>aliyun-plugin</id>
        <url>https://maven.aliyun.com/nexus/content/groups/public/</url>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </pluginRepository>
</pluginRepositories>


### 6.3 配置文件


（1）application.properties

#kafka集群地址
kafka.bootstrapServers=localhost:9092
#kafka主题
kafka.topic=topic_a
#kafka消费者组
kafka.group=aurora_group


（2）log4j2.properties

rootLogger.level=INFO
rootLogger.appenderRef.console.ref=ConsoleAppender
appender.console.name=ConsoleAppender
appender.console.type=CONSOLE
appender.console.layout.type=PatternLayout
appender.console.layout.pattern=%d{HH:mm:ss,SSS} %-5p %-60c %x - %m%n
log.file=D:\tmprootLogger.level=INFO
rootLogger.appenderRef.console.ref=ConsoleAppender
appender.console.name=ConsoleAppender
appender.console.type=CONSOLE
appender.console.layout.type=PatternLayout
appender.console.layout.pattern=%d{HH:mm:ss,SSS} %-5p %-60c %x - %m%n
log.file=D:\tmp


### 6.4 创建sink作业

package com.aurora;

import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.connector.base.DeliveryGuarantee;
import org.apache.flink.connector.kafka.sink.KafkaRecordSerializationSchema;
import org.apache.flink.connector.kafka.sink.KafkaSink;
import org.apache.flink.connector.kafka.source.KafkaSource;
import org.apache.flink.connector.kafka.source.KafkaSourceBuilder;
import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer;
import org.apache.flink.runtime.state.StateBackend;
import org.apache.flink.runtime.state.filesystem.FsStateBackend;
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.CheckpointConfig;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.ArrayList;

/**

  • @author 浅夏的猫

  • @description kafka 连接器使用demo作业

  • @datetime 22:21 2024/2/1
    */
    public class KafkaSinkStreamingJob {

    private static final Logger logger = LoggerFactory.getLogger(KafkaSinkStreamingJob.class);

    public static void main(String[] args) throws Exception {

     //===============1.获取参数==============================
 //定义文件路径
 String propertiesFilePath = "E:\\project\\aurora_dev\\aurora_flink_connector_kafka\\src\\main\\resources\\application.properties";
 //方式一:直接使用内置工具类
 ParameterTool paramsMap = ParameterTool.fromPropertiesFile(propertiesFilePath);

 //================2.初始化kafka参数==============================
 String bootstrapServers = paramsMap.get("kafka.bootstrapServers");
 String topic = paramsMap.get("kafka.topic");

 KafkaSink<String> sink = KafkaSink.<String>builder()
         //设置kafka地址
         .setBootstrapServers(bootstrapServers)
         //设置消息序列号方式
         .setRecordSerializer(KafkaRecordSerializationSchema.builder()
                 .setTopic(topic)
                 .setValueSerializationSchema(new SimpleStringSchema())
                 .build()
         )
         //至少一次
         .setDeliveryGuarantee(DeliveryGuarantee.AT_LEAST_ONCE)
         .build();


 //=================4.创建Flink运行环境=================
 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
 ArrayList<String> listData = new ArrayList<>();
 listData.add("test");
 listData.add("java");
 listData.add("c++");
 DataStreamSource<String> dataStreamSource = env.fromCollection(listData);

 //=================5.数据简单处理======================
 SingleOutputStreamOperator<String> flatMap = dataStreamSource.flatMap(new FlatMapFunction<String, String>() {
     @Override
     public void flatMap(String record, Collector<String> collector) throws Exception {
         logger.info("正在处理kafka数据:{}", record);
         collector.collect(record);
     }
 });

 //数据输出算子
 flatMap.sinkTo(sink);

 //=================6.启动服务=========================================
 //开启flink的checkpoint功能：每隔1000ms启动一个检查点（设置checkpoint的声明周期）
 env.enableCheckpointing(1000);
 //checkpoint高级选项设置
 //设置checkpoint的模式为exactly-once（这也是默认值）
 env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
 //确保检查点之间至少有500ms间隔（即checkpoint的最小间隔）
 env.getCheckpointConfig().setMinPauseBetweenCheckpoints(500);
 //确保检查必须在1min之内完成，否则就会被丢弃掉（即checkpoint的超时时间）
 env.getCheckpointConfig().setCheckpointTimeout(60000);
 //同一时间只允许操作一个检查点

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

图片转存中…(img-FpbwbCNX-1715285429017)]
[外链图片转存中…(img-W7vVYwOM-1715285429017)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84592266
关注
  • 10
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【极数系列】Flink集成KafkaSink & 实时输出数据（11）
weixin_40736233的博客
02-06 1639
【极数系列】Flink集成KafkaSink（11）旨在帮助读者快速使用Flink集成KafkaSink，直接输出数据到kafka
Flink—kafkaSink
popping_w的博客
08-27 2459
Flink—kafkaSink 1.开发流程 特别说明： Flink内置了一些Sink, 除此之外的Sink需要用户自定义! 2.环境介绍 hadoop+zookeeper+kafka 添加Kafka Connector依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId>
Flink kafka source & sink 源码解析
u011250186的博客
04-13 1271
摘要：本文基于 Flink 1.9.0 和 Kafka 2.3 版本，对 Flink Kafka source 和 sink 端的源码进行解析，主要内容分为以下两部分： 1.Flink-kafka-source 源码解析 流程概述 非 checkpoint 模式 offset 的提交 checkpoint 模式下 offset 的提交 指定 offset 消费 2.Flink-kafka-sink 源码解析 初始化 Task运行 小结 1.Flink-kafka-source 源...
6.2、Flink数据写入到Kafka
向热爱自己一样，热爱这个世界。
09-13 2094
Flink数据写入到Kafka
Flink的sink实战之二：kafka，3个月学会Java开发
最新发布
m0_60575487的博客
03-14 883
分享一套我整理的面试干货，这份文档结合了我多年的面试官经验，站在面试官的角度来告诉你，面试官提的那些问题他最想听到你给他的回答是什么，分享出来帮助那些对前途感到迷茫的朋友。
Fastdata极数：2020年中国互联网家装行业报告.pdf.pdf
12-16
"Fastdata极数：2020年中国互联网家装行业报告.pdf.pdf" Fastdata极数2020年中国互联网家装行业报告对中国家装市场的发展趋势进行了深入的分析和研究。本报告认为，中国家装市场已经进入存量竞争阶段，市场竞争...
2021.11-2021年中国生鲜电商行业报告-Fastdata极数-50页.pdf
09-11
餐饮业
Fastdata极数：2020年中国在线旅游行业95后用户数据报告 .rar
02-12
Fastdata极数：2020年中国在线旅游行业95后用户数据报告 .rar
1_2021年中国生鲜电商行业报告-Fastdata极数.pptx
04-17
中国城镇居民年食品支出超7万亿元 生鲜消费线上交易占比仅为3.4% 2021年前三季度，生鲜电商融资金额77.7亿元 前三季度生鲜电商交易额超2300亿元，增速放缓 生鲜电商平台模式及竞争分析 阿里、腾讯、美团及京东...
Fastdata极数：2020年中国在线旅游行业95后用户数据报告.rar
09-09
Fastdata极数：2020年中国在线旅游行业95后用户数据报告
Kafka与Flink的整合 -- sink、source
加油
11-07 782
【代码】Kafka与Flink的整合 -- sink、source。
kafka sink
weixin_34416649的博客
04-21 410
2019独角兽企业重金招聘Python工程师标准>>> ...
Flink 使用 Kafka Source & Kafka Sink
杜海的博客
09-29 1245
FlinkKafkaConnector 该连接器提供对Apache Kafka服务的事件流的访问。 Flink提供了特殊的Kafka连接器，用于从Kafka主题读写数据。 Flink Kafka Consumer与Flink的检查点机制集成在一起，以提供有且仅有一次的语义。为此，Flink不仅仅依赖于Kafka的消费者群体偏移量跟踪，还内部跟踪和检查这些偏移量。 开发流程 接一下以一个示例配置来介绍一下Flink如何以读取Kafka，并且再写入到一个新的Topic中 1. 依赖kafka p.
Flume中同时使用Kafka Source和Kafka Sink的Topic覆盖问题
qq_36864672的博客
02-02 315
如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events，便会遇到Kafka Topic覆盖问题，具体表现为，Kafka Source可以正常从指定的Topic中读取数据，但在Kafka Sink中配置的目标Topic不起作用，数据仍然会被写入到Source中指定的Topic中。 比如：在Agent中的Kafka Source配置Topic为： ...
flink连接加密kafka（Sasl/Plain）
qq_39890221的博客
03-17 3197
代码中添加以下配置： properties prop = new Properties(); prop.setProperty(“security.protocol”,“SASL_PLAINTEXT”); prop.setProperty(“sasl.mechanism”,“PLAIN”) prop.setProperty(“sasl.jaas.config”,"org.apache.kafka.common.security.plain.PlainLoginModule required userna
flink实战--flink整合kafka (kafka source 与 kafka sink)
热门推荐
阿华田的博客
12-26 1万+
简介 Flink提供的Kafka连接器，用于向Kafka主题读取或写入数据。Flink Kafka Consumer集成了Flink的检查点机制，可提供一次性处理语义。为实现这一目标，Flink并不完全依赖kafka的消费者群体偏移跟踪，而是在内部跟踪和检查这些偏移。 Maven 依赖 支持到的版本 生产者和消费者类的名成 Kafka version ...
kafka学习之监控与flume对接
weixin_44178366的博客
10-14 484
kafka学习之监控与对接flume kafka和flume的对接 kafkaSource,kafkaSink,kafkaChannel组件描述 1) KafkaSource 用于从kafka中读取数据. KafkaSource对于flume来讲是一个source的角色. 对于Kafka来讲，是一个消费者的角色. 2) KafkaSink 用于往Kafka中写数据 KafkaSink对于flume来讲是一个sink的角色,对于kafka来讲，是一个生产者的角色. 3
使用Flink对接Kafka数据，进行word count，将统计结果sink到Kafka（单节点）
qq_45834615的博客
09-05 857
Java编写flink读取Kafka数据，进行词频统计，最终sink到Kafka
Flink借助Kafka实现端到端精准一次
qq_43147161的博客
04-18 2577
Flink结束Kafka实现端到端精准一次，包含检查点，保存点，状态后端的概念
电机槽极数和极对数的关系
11-29
电机的槽数和极数是电机设计中非常重要的两个参数，它们直接影响电机的性能和特性。一般来说，槽数和极数越多，电机的性能越好，但是也会带来一些问题，比如动平衡难度增加等。下面是电机槽极数和极对数的关系： 1....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值