Kafka
文章平均质量分 75
班班v
努力工作,好好生活
展开
-
Flink SQL使用Catalog消费Kafka时,多个Source读取同一主题解决方案
当我们在Flink使用Catalog的时候,如何启用不同groupId的消费着消费Kafka数据呢,本文带你详细了解,Catalog 提供了元数据信息,例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。 元数据可以是临时的,例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的原创 2022-10-14 18:50:05 · 1964 阅读 · 1 评论 -
KAFKA 拦截器原理和使用
KAFKA 拦截器原理和使用一、Kafka拦截器原理二、Kafka拦截器使用2.1 需求2.2 拦截器实现pom.xml配置TimeInterceptor实现CounterInterceptor 实现InterceptorProducer 主函数方法实现结果查看Kafka拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端的定制化控制逻辑一、Kafka拦截器原理对于producer而言,interceptor使得用户在消息发送前以及producer回调逻辑原创 2021-12-12 14:43:46 · 622 阅读 · 0 评论 -
KAFKA性能测试
KAFKA性能测试一、生产者性能测试二、消费者性能测试Kafka集群提供了一个kafka-producer-perf-test.sh、kafka-consumer-perf-test.sh脚本为生产者、消费者提供性能测试,有一系列的参数,我们的性能测试是基于这两个脚本来进行的,分别来测试一下。一、生产者性能测试$KAFKA_HOME/bin/kafka-producer-perf-test.sh --topic test666 --record-size 100 --num-records 30000原创 2021-12-12 14:34:49 · 1308 阅读 · 1 评论 -
Java使用Producer向Kafka集群发送消息
Java使用Producer向Kafka集群发送消息一、Pom文件配置二、向Kafka集群发送消息2.1 直接发送2.2 同步发送2.3 异步发送2.4 Flume使用的发送方式Java使用Kafka Producer API向Kafka集群发送消息的时候,大概有3中形式,分别为直接、同步、异步发送,本篇文章会介绍这3中发布方式的区别一、Pom文件配置<dependency> <groupId>org.apache.kafka</groupId> <art原创 2021-12-06 20:23:25 · 2774 阅读 · 0 评论 -
Kafka基本使用
Kafka基本使用一、 Kafka的基本命令操作1.1 启动Kafka1.2 停止Kafka1.3 查看主题1.4 查看主题详细信息1.5 删除主题1.6 向主题发送数据1.7 从主题接收数据1.8 增加Kafka分区二、其他一些配置2.1 主题自动删除配置Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消,它的特点有:通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性原创 2021-12-02 22:32:28 · 393 阅读 · 0 评论