flink之kafka数据源之topic的分区和topic发现

最新推荐文章于 2022-10-10 11:40:31 发布
最新推荐文章于 2022-10-10 11:40:31 发布
阅读量2.2k 收藏
点赞数 2
文章标签： kafka flink 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51473488/article/details/123196679
版权

flink之kafka数据源之topic的分区和topic发现设置

情景一:kafka因为后台数据增多,重新新增加分区,这时候需要在kafka中设置flink.partitions-discovery.interval-millis(设置时间为多少毫秒后天自动启动一个线程校验是否有新增分区)

情景二: 由于业务增多,需要新增一个topic,这时候需要设置kafka 匹配topic的名称的时候采用正则表达式在这里插入图片描述

不吃饭的猪
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink消费Kafka数据1
08-03
1. 实验环境 2. 资源购买 3. 开始实验
Flink 1.9 — SQL 创建 Kafka 数据源
专注大数据、实时计算、程序员成长、经验分享和排坑经历
01-07 1363
前言 目前 Flink 1.9 SQL 支持用户直接使用 SQL 语句创建 Kafka 数据源，这极大的方便了用户开发 Flink 实时任务，你可以像 Hive 一样，使用 Create Table 语句来创建 Kafka Source，同时在也可以使用 Select 语句，从这个表中读取数据，进行窗口、ETL等操作。本文主要讲解 Flink 1.9 SQL 创建 Kafka 的 SQL 语法使用...
Kafka入门系列—1. topic、消费者组等重要概念
没有伞的孩子必须努力奔跑！—小林
06-21 2699
消息队列是生产者向消息队列发送消息，消费者从消息队列拉取（pull）消息。 生产者 生产者是消息队列的数据源，可以向其发送消息，如字符串、二进制数据等。 消费者 消费者的数据源就是Kafka，于是通过Kafka实现了生产者和消费者两个系统的解耦。 broker 部署了Kafka的server称为broker。Kafka分布式部署就有多台broker。 主题topic topic是字符串，它将消息进行分类、存储 多个生产者可以向同一个topic发送消息 多个消
flink消费kafka时topic partitions 和并行度间的分配源码详解
bradyM的博客
12-23 3360
引言 当我们消费kafka的一个topic时，我们知道kafka partition 是和我们设置的并行度是一一对应的； 也就是说，假如我们的topic有12个分区，那我们就设置12个并行度，这样每个并行度都能接收到数据且数据均匀； 那如果我们设置了15个并行度，那么就会有3个并行度是收不到数据的；这可以在web ui上，点开source operate 查看SubTasks的Bytes Sent，就可以发现，有三个SubTasks的Bytes Sent始终为0。 当我们消费kafka多个topic的时候，
Flink Kafka Connector（连接器）、exactly-once 语义保证、自动发现kafka分区
天道酬勤
12-16 1168
Flink Source & Sink 在 Flink 中，Source 代表从外部获取数据源，Transfromation 代表了对数据进行转换操作，Sink 代表将内部数据写到外部数据源 一个 Flink Job 一般由 Source，Transformation，Sink 组成 Flink 提供了 Kafka Connector 用于消费/生产 Apache Kafka Top...
【Flink实战系列】Flink 消费多个 topic 的数据根据不同 topic 数据做不同的处理逻辑
JasonLee实时计算
06-12 5860
Flink 消费多个 topic 的数据根据不同 topic 数据做不同的处理逻辑 需求 有的时候我们需要消费同一个 kafka 集群的多个 topic 数据,然后可能会根据不同 topic 的数据做不同的处理逻辑.可能还需要获取到 topic 的元数据信息比如 offset ,timestamp 等. 分析 其实对于这个需求来说实现的方式有很多种,比如你可以消费两个 topic 的数据,然后做一个 union 操作,然后可以用 filter 来过滤不同 topic 的数据做不同的处理,但是这种方式并不是最
Flink入门：读取Kafka实时数据流，实现WordCount
01-07
本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计...设置Kafka相关参数，连接对应的服务器和端口号，读取名为Shakespeare的Topic中的数据源，将数据源命名为stream： // Kafka参数 Properties propert
flink读取kafka数据.zip
最新发布
01-04
flink读取kafka数据，按照业务逻辑计算完之后以数据流的方式快速导入到redis集群，并实现了将计算结果以流的方式快速导入MySQL库中。
kafka监控获取指定topic的消息总量示例
09-18
今天小编就为大家分享一篇kafka监控获取指定topic的消息总量示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Flink与kafka集成测试数据集sensortemp.csv
10-12
Flink与kafka集成测试数据集
【Flink 实战系列】Flink 消费多个 Topic 数据利用侧流输出完成分流功能
JasonLee实时计算
10-01 1662
本文主要介绍了 Flink 消费多个 Topic 数据，实现分流的逻辑，通过自定义反序列类 PoJoDeserializationSchema 去获取 Topic 的元数据信息，然后通过侧流输出的方式实现一个流分成多个流的操作。
Flink怎么获取kafka的topic,partition,offset信息
lzzyok的专栏
10-10 2019
实现KafkaDeserializationSchema解决Flink中对kafka消息反序列化问题
解决Flink消费Kafka信息，结果存储在Mysql的重复消费问题
lukabruce的博客
09-11 7867
背景 最近项目中使用Flink消费kafka消息，并将消费的消息存储到mysql中，看似一个很简单的需求，在网上也有很多flink消费kafka的例子，但看了一圈也没看到能解决重复消费的问题的文章，于是在flink官网中搜索此类场景的处理方式，发现官网也没有实现flink到mysql的Exactly-Once例子，但是官网却有类似的例子来解决端到端的仅一次消费问题。这个现成的例子就是FlinkK...
Flink实时消费多个topic数据
程序园@大Null
06-02 5718
package com.demo import java.util import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment import org.apache.flink.streaming.connectors.ka.
Flink对接Kafka的topic数据消费offset设置参数
zwahut的专栏
11-24 4563
开始阅读位置# config 选项scan.startup.mode指定 Kafka 消费者的启动模式。有效的枚举是： `group-offsets`：从特定消费者组的 ZK / Kafka 代理中的已提交偏移量开始。 `earliest-offset`：从可能的最早偏移量开始。 `latest-offset`：从最新的偏移量开始。 `timestamp`：从用户提供的每个分区的时间戳开始。 `specific-offsets`：从用户提供的每个分区的特定偏移量开始。 默认选项值group-o.
Flink两种方式动态写入Kafka多个topic
为一个人走几座城
04-16 2563
<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.11_2.12</artifactId> <version>1.10.2</version> </dependency> <dependency> <groupId>org.apache.
Flink 动态sink到多个topic，并且实现自定义分区器
qq_31866793的博客
09-01 3343
1，我们先实现的是序列化类 public class CustomKeyedSerializationSchema implements KeyedSerializationSchema<TopicAndValueDemo> { @Override public byte[] serializeKey(TopicAndValueDemo topicAndValueDemo) { String pk = topicAndValueDemo.getPk(.
Flink Kafka Connector 关于Partition动态发现
zl
12-27 4532
背景 Kafka的topic进行扩容，出现丢数据的情况，只能通过重启的方式来解决。 解决方法 KafkaSource创建的时候，在Properties中，通过设置参数flink.partition-discovery.interval-millis 来打开自动发现功能。 此参数的功能是间隔多久（interval）获取一次kakfa的元数据。 默认是关闭的，只要设置interval大于0...
Flink SQL 1.11 新功能与最佳实践
热门推荐
Ververica的博客
09-07 1万+
整理者：陈婧敏（清樾）本文整理自 Apache Flink PMC，阿里巴巴技术专家伍翀（云邪）的分享，旨在帮助用户快速了解新版本 Table & SQL 在 Connectiv...
flink消费kafka数据后 再写入hive
05-15
可以通过Flink的Hive Sink将消费的Kafka数据写入Hive中。具体步骤如下： 1. 在Flink中创建Kafka数据源，并使用Flink的DataStream API将数据转换为需要写入Hive的格式。 2. 使用Flink的Hive Sink将数据写入Hive中。Hive Sink需要配置Hive JDBC连接信息和表结构信息。 下面是一个示例代码，可以根据实际情况进行修改： ```java // 创建Flink的执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 创建Kafka数据源 Properties props = new Properties(); props.setProperty("bootstrap.servers", "localhost:9092"); props.setProperty("group.id", "test-group"); FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<>("test-topic", new SimpleStringSchema(), props); // 读取Kafka数据 DataStream<String> stream = env.addSource(consumer); // 转换数据格式 DataStream<Tuple2<String, Integer>> data = stream.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() { @Override public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception { // 根据实际情况进行数据转换 String[] parts = s.split(","); collector.collect(new Tuple2<>(parts[0], Integer.parseInt(parts[1]))); } }); // 配置Hive Sink HiveConf hiveConf = new HiveConf(); hiveConf.addResource(new Path("/path/to/hive-site.xml")); HiveCatalog hiveCatalog = new HiveCatalog("myHiveCatalog", "default", hiveConf); env.registerCatalog("myHiveCatalog", hiveCatalog); env.useCatalog("myHiveCatalog"); HiveTableSink hiveTableSink = new HiveTableSink.Builder() .setPartitions(Collections.singletonList("dt='20220101'")) .setTable(new ObjectPath("default", "test")) .setHiveConf(hiveConf) .setOverwrite(true) .setStaticPartitionInsert(false) .build(); // 写入Hive data.addSink(hiveTableSink); // 执行任务 env.execute("Kafka to Hive"); ``` 需要注意的是，在执行程序前需要先创建好Hive表，并且表的结构要与代码中配置的一致。另外，Hive Sink在写入数据时会自动创建分区，因此在写入数据前需要确保分区已经存在。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值