kafka
文章平均质量分 84
键盘歌唱家
一个贪财好色的俗人
展开
-
自定义Kafka拦截器
一、简介Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的,主要用于实现 clients 端的定制化控制逻辑。对于 producer 而言,interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer 允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。(1)configure(configs)获取配置信息和初原创 2021-08-18 17:16:23 · 209 阅读 · 0 评论 -
JAVA操作Kafka
一、环境说明1.电脑或你的服务器需要安装zookeeper和kafka可以参考我的这篇博客:请点击这里!2.项目中需要下面的依赖: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.7.0<原创 2021-08-10 19:35:00 · 4208 阅读 · 2 评论 -
Kafka架构分析
一、Kafka 工作流程及文件存储机制1.工作流程1.Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。2.topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端,且每条数据都有自己的 offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个 offset原创 2021-08-05 15:07:30 · 176 阅读 · 0 评论 -
Kafka下载安装和基本命令
一、kalka的简介和前置环境kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域.安装kalfa之前要安装好zookeeper:zookeeper的安装地址至于zookeeper的安装流程可以参考我的这篇博客二 、下载和安装kalka的下载地址:https://kafka.apache.org/downloads...原创 2021-08-04 14:27:47 · 849 阅读 · 0 评论