kafka
文章平均质量分 85
Timmer丿
不积跬步,无以至千里;不积小流,无以成江海
展开
-
kafka学习笔记(四、生产者(客户端)深入研究(一)——分区分配策略)
自定义分区分配策略必须实现接口。// 设置消费者自身相关的subscription信息// 提供分区分配策略的名称,命名不能重复// 分区分配方案实现,metadata参数表示集群的元数据信息,subscriptions表示消费组内各个消费者成员的订阅信息,// 最终返回各个消费者的分配信息// 在每个消费者收到消费者组leader分配结果时的回调函数// 表示消费者的订阅信息// 消费者订阅的主题列表// 用户自定义信息// ...// 表示分配结果信息。原创 2024-07-16 16:06:18 · 1064 阅读 · 0 评论 -
kafka学习笔记(三、生产者Producer使用及配置参数)
生产者就是负责向kafka发送消息的应用程序。消息在通过send()方法发往broker的过程中,有可能需要经过和的一系列作用后才能被真正的发往broker。key用来指定消息的键,不仅是附加消息还可以用来计算分区号而可以让消息发往特定的分区。byte[]原创 2024-05-07 17:58:00 · 2152 阅读 · 0 评论 -
Kafka学习笔记(二、linux和docker安装及使用demo)
第一个总是Kafka Connect进程的配置,包含常见的配置,比如Kafka要连接的代理和数据的序列化格式。这些示例配置文件,包含在Kafka中,使用您之前启动的默认本地集群配置并创建两个连接器:第一个是源连接器,它从输入文件中读取行并将每个行生成到Kafka主题,第二个是接收器连接器,它从Kafka主题中读取消息并将每个消息作为输出文件中的一行生成。下面我们介绍如何使用简单的连接器来运行Kafka Connect,将数据从文件导入到Kafka主题,并将数据从Kafka主题导出到文件。原创 2024-04-23 18:13:25 · 1469 阅读 · 2 评论 -
Kafka学习笔记(一、kafka简介及概念)
kafka目前定为一个,以等多种特性而别广泛应用。原创 2024-04-19 09:45:08 · 578 阅读 · 0 评论 -
Log4j2异步将log发送到kafka (kafka及其依赖环境的docker配置和使用)
一,kafka config1.下载,安装docker desktop在windowshttps://hub.docker.com/?overlay=onboarding2.设置docket kafka转接到本机的hostexport DOCKER_KAFKA_HOST=###.###.###.###3.在docker安装kafka相关的images并启动容器我们使用的是d...原创 2019-12-04 15:10:43 · 2376 阅读 · 1 评论 -
kafka消费者(consumer)异步处理及性能优化
简介本文的重点在于从kafka读取数据之后的异步处理,批量提交等旨在提高性能的操作。有关Kafka Customer, Kafka Customer Group,以及Kafka Customer的配置等内容不做过多的解释,如果需要了解这方面的内容可参考Kafka消费者-从Kafka读取数据(本人读了感觉讲的停详细的),了解更多的内容。gradleimplementation "org.jetbrains.kotlin:kotlin-stdlib" // Generate optimized J原创 2021-01-22 15:50:44 · 2942 阅读 · 0 评论 -
log4j2配置解析及发送log到kafka(xml/yml)
log4j2的优势 在异步,吞吐量等方面有极大的性能提升,Log4j2的性能为什么这么好https://www.jianshu.com/p/359b14067b9e maven <!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-api --><dependency>...原创 2019-11-01 16:38:16 · 1687 阅读 · 0 评论 -
高并发下kafka producer配置优化
简介kafka producer是kafka集群的发送消息的客户端,主要就是向某个topic的某个分区发送一条消息。partitioner决定向哪个分区发送消息。用户指定key,默认的分区器会根据key的哈希值来选择分区,如果没有指定key就以轮询的方式选择分区。也可以自定义分区策略。旧版本:0.9.0.0版本以前,入口类:kafka.producer.Producer,同步机制,等待响应...原创 2020-10-27 15:56:52 · 2231 阅读 · 0 评论 -
spring boot中使用kafka详解(踩完坑又爬了出来)
一.概述本文会使用两种方式使用kafka:直接使用kafka-client连接kafka服务;另一种是使用spring-kafka框架来连接kafka。二.Compatibility(兼容性):springboot:2.2.1.RELEASEgradle:compile ('org.apache.kafka:kafka-clients:2.4.0')compile ('or...原创 2020-01-29 17:07:38 · 7984 阅读 · 0 评论