【FlinkStreaming】Kafka Source Java

已于 2023-10-28 02:18:51 修改
阅读量508 收藏 1
点赞数
分类专栏： 大数据 FlinkStreaming 文章标签： flink kafka
于 2020-08-28 17:00:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38930129/article/details/108282966
版权
本文介绍了如何在Flink流处理中使用Kafka作为数据源，详细阐述了在pom.xml配置文件中添加相关依赖以及自定义KafkaSource.java的实现过程。
摘要由CSDN通过智能技术生成

pom.xml中的依赖

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.11.1</version>
            <scope>provided</scope>
        </dependency>


        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-core</artifactId>
            <version>1.11.1</version>
        </dependency>


        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>1.11.1</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.11</artifactId>
最低0.47元/天 解锁文章
flink实战--flink整合kafka (kafka source 与 kafka sink)
阿华田的博客
12-26 1万+
简介 Flink提供的Kafka连接器，用于向Kafka主题读取或写入数据。Flink Kafka Consumer集成了Flink的检查点机制，可提供一次性处理语义。为实现这一目标，Flink并不完全依赖kafka的消费者群体偏移跟踪，而是在内部跟踪和检查这些偏移。 Maven 依赖 支持到的版本 生产者和消费者类的名成 Kafka version ...
【大数据】Flink + Kafka 实现通用流式数据处理详解
最新发布
congge
10-27 7132
Flink + Kafka 实现通用流式数据处理详解
【FlinkStreaming】Kafka Sink Java
qq_38930129的博客
08-28 567
pom.xml依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.11.1</version> <scope>provided</scope>
flink-streaming-java_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-streaming-java_2.11-1.10.0.jar； 赠送原API文档：flink-streaming-java_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-streaming-java_2.11-1.10.0-sources.jar； 赠送Maven依赖信息文件：flink-streaming-java_2.11-1.10.0.pom； 包含翻译后的API文档：flink-streaming-java_2.11-1.10.0-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.flink:flink-streaming-java_2.11:1.10.0； 标签：flink、11、streaming、apache、java_2、jar包、java、API文档、中文版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
flink：java集成flink实现流数据处理（一）
55555的博客
09-27 1980
2、引入依赖对应flink相关的依赖需要单独说明下，其jar版本需要根据flink版本来定，flink 1.11之前版本使用的是scala2.11, 之后加入了对scala2.12的支持，不同的版本引入的jar名称不同，比如包有3个，对应不同的scala版本，则为对多个版本的兼容版一般我们根据scala版本来定，比如我这里使用flink1.13， 则对应scala2.12
flink-streaming-java_2.11-1.7.1-API文档-中英对照版.zip
04-07
赠送jar包：flink-streaming-java_2.11-1.7.1.jar 赠送原API文档：flink-streaming-java_2.11-1.7.1-javadoc.jar 赠送源代码：flink-streaming-java_2.11-1.7.1-sources.jar 包含翻译后的API文档：flink-streaming-java_2.11-1.7.1-javadoc-API文档-中文(简体)-英语-对照版.zip 对应Maven信息：groupId：org.apache.flink，artifactId：flink-streaming-java_2.11，version：1.7.1 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。 双语对照，边学技术、边学英语。
Flink源码剖析：flink-streaming-java 之 StreamGraph
foureyes
04-22 1727
文章目录1.DataStream API使用一览2. 源码剖析2.1 StreamExecutionEnvironment2.2 Transformation2.3 DataStream2.4 StreamOperator2.5 Function2.6 StreamGraph2.7 类之间的层级关系 本文主要围绕 Flink 源码中 flink-streaming-java 模块。介绍如何使用 D...
Flink自定义kafkaSource 和Sink
流风雨情的博客
04-01 3517
pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...
java读取kafka_flink读取kafka数据（java）
weixin_33532756的博客
02-21 1761
目前读取kafka的需求较多，在此做记录。pom依赖org.apache.flinkflink-connector-kafka_2.121.10.1org.apache.flinkflink-java1.10.0org.apache.flinkflink-streaming-java_2.121.10.0providedorg.apache.flinkflink-clients_2.121.10....
【Flink、java】
David_Hzy的博客
09-26 754
2.在根目录，添加input文件。
Flink - Java篇
.
02-28 1万+
文章目录前言一、概述1 Flink是什么2 架构分层3 数据处理流水线4 运行组件TaskManagerJobManagerResourceManagerDispatcher5 其他流式计算框架二、入门与使用1 Flink基本安装1.1 Linux1.2 Java1.3 Scala（待补充）1.4 集群模式2 常用API2.1 DataStream 流处理DataSourceTransformationSink示例一：自定义数据源（SourceFunction）示例二：自定义分区示例三：Socket通信示例
Flink-02 Flink Java 3分钟上手 Stream SingleOutputStreamOpe ExecutionEnvironment DataSet FlatMapFunction
永远好奇，无限进步！
06-22 8962
https://github.com/turbo-duck/flink-demo接着上一节的内容 https://blog.csdn.net/w776341482/article/details/139873938 编写代码 定义变量 获取环境 Socket流 FlatMap Stream 完整代码 启动服务 启动一个服务，等会儿用作给 Flink 服务发送数据。Win平台 运行效果 启动Flink服务，在刚才启动的Shell控制台中，快速的输入一些数字并回车。观
java-Flink(一)
miaoANDmiao的博客
04-11 322
第一天接触Flink,从小白学起。
Flink源码剖析：flink-streaming-java 之 JobGraph
foureyes
05-05 815
文章目录1. 调用链路2. 源码剖析2.1 JobVertex2.2 JobEdge2.3 IntermediateDataSet2.4 StreamConfig2.5 StreamGraph 到 JobGraph 的核心转换3. 自带 WordCount 示例详解 本文主要围绕 Flink 源码中 flink-streaming-java 模块。介绍下 StreamGraph 转成 JobGra...
flink-java使用介绍，flink，java，DataStream API，DataSet API，ETL，设置 jobname
猛犸象
01-23 1981
flink-java使用介绍，flink，java，DataStream API，DataSet API，ETL
Java版Flink使用指南——自定义无界流生成器
方亮的专栏
07-08 1595
新建src/main/java/org/example/generator/UnBoundedStreamGenerator.java然后UnBoundedStreamGenerator实现RichSourceFunction接口主要实现SourceFunction接口的run和cancel方法。run方法用来获取获取，cancel方法用于终止任务。
大数据——Flink的KafkaSource和自定义Source
热门推荐
Vicky_Tang
08-25 1万+
一、KafkaSource 在流式处理过程中，Kafka 和 Flink 的整合是许多公司所使用的架构。而 Flink 和 Kafka 的整合也非常友好，代码非常简单，实际开发中使用较多 package cn.kgc.source import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.s
Flink--Source(Kafka)
MINGZHEFENG的博客
11-26 1797
从kafka读取数据 依赖 kafka和flink是非常契合的。 若flink想和kafka建立连接，需要导入新的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.11_2.12</artifactId> <version>1.10.1</version> </
flink使用kafka作为source的示例
03-25
A：下面是一个使用Apache Flink和Apache Kafka作为source的示例： ```java import java.util.Properties; import org.apache.flink.api.java.utils.ParameterTool; import org.apache.flink.streaming.api....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值