Kafka
文章平均质量分 71
kafka学习记录分享
localhost65535
菜鸡一只
展开
-
kafka基础入门(五)
目录五. KafKa监控5.1 介绍5.2 安装5.3 使用六. Flume对接Kafka七. KafKa Streams八. KafKa面试题五. KafKa监控可以参考:https://www.cnblogs.com/keatsCoder/p/13291615.html可以参考:https://www.cnblogs.com/yangxiaoli/p/13391205.html5.1 介绍监控工具:Eagle(鹰眼)。功能:通过命令行进行topic的crud很麻烦, 可以通过Ealge原创 2021-08-22 13:28:18 · 165 阅读 · 0 评论 -
kafka基础入门(四)
目录四. KafKa API4.1 producer API4.1.1 消息发送流程4.1.2 普通生产者4.1.3 API指定生产者的分区分配策略4.1.4 自定义分区器4.1.5 同步发送消息的API4.1.6 异步发送消息的API4.2 consumer API4.2.1 普通消费者4.2.2 重置offset4.2.3 自动提交offset4.2.4 手动提交offset4.2.5 自定义存储offset4.3 自定义Interceptor4.3.1 拦截器原理4.3.2 拦截器案例五. KafK原创 2021-08-22 13:13:16 · 227 阅读 · 0 评论 -
kafka基础入门(三)
三. kfk的架构深入3.4 kfk的消费者主要研究消费者的消费方式 和 消费者组的分区分配策略3.4.1 消费者的消费方式consumer采用pull拉取的方式从broker中拉取数据.push, broker推送数据的方式很难适应不同的消费者, 因为不同消费者的消费速率不同.pull模式的缺点是如果kfk中没有数据, 消费者可能陷入循环, 一直返回空数据.针对这一点, kfk的消费者在消费数据时会传入一个时长参数timeout, 如果当前没有数据可供消费, consumer会等待一原创 2021-08-22 12:58:09 · 216 阅读 · 0 评论 -
kafka基础入门(二)
目录三. kfk架构深入3.1 kfk工作流程3.2 kfk文件存储机制3.3 kfk的生产者3.3.1 topic分区的原因3.3.2 生产者的分区策略3.3.3 生产者发送数据的可靠性3.3.4 数据一致性问题3.3.5 Exactly Once 语义三. kfk架构深入3.1 kfk工作流程上面每个分区中的数字代表消息的偏移量(offset), 所有的分区没有全局的偏移量, 每个分区维护以及的消息偏移量;kfk0.9开始消费者中存储offset, kfk0.9之前zk中存储offset;原创 2021-08-22 01:53:07 · 216 阅读 · 0 评论 -
kafka基础入门(一)
目录一. KafKa概述1.1 什么是kfk1.2 消息队列的两种模式1.3 kfk的架构二. kfk入门2.1 安装部署kfk2.2 kfk的命令行操作2.2.1 命令行操作topic2.2.2 命令行测试生产者消费者2.2.3 kafka-topics.sh --describe 显示结果解释2.2.4 kfk常用命令2.3 kfk的日志和数据分目录存放三. kfk架构深入一. KafKa概述1.1 什么是kfkkfk是一个分布式的基于发布订阅模式的消息队列. 主要应用于大数据实时处理领域.1.原创 2021-08-22 01:39:19 · 1384 阅读 · 0 评论 -
MessagePack 序列化
目录MessagePack 序列化MessagePack 序列化以及反序列化示例kafka 使用 MessagePack 序列化MessagePack 序列化MessagePack 序列化以及反序列化示例pom<!-- https://mvnrepository.com/artifact/org.msgpack/msgpack --><dependency> <groupId>org.msgpack</groupId> <a原创 2021-05-24 23:21:33 · 359 阅读 · 0 评论 -
windows搭建kafka环境
windows搭建kafka环境安装步骤1、首先下载win版kfk:kafka_2.11-0.10.2.2.rar。然后解压,注意目录不能太深,否则win命令行报错,最好将kfk解压后放到根目录。2、配置自带zk# zookeeper.properties dataDir=D:/zkdata3、配置kfk# server.propertieslisteners=PLAINTEXT://localhost:9092log.dirs=D:/kfklogzookeeper.c原创 2021-04-27 23:28:16 · 149 阅读 · 0 评论 -
Avro序列化与反序列化
Avro序列化与反序列化简介Avro是一个数据序列化工具,用语言无关的模式定义,Avro支持二进制编码和JSON编码两种序列化方式。使用maven插件包结构pom<dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId> <version>1.8.2</version></原创 2021-03-28 23:03:58 · 472 阅读 · 0 评论 -
kafka的zookeeper.connect参数带路径
常见的kafka配置文件server.properties的zookeeper连接配置zookeeper.connect=hostname1:2181,hostname2:2181,hostname2:2181log.dirs=/data01/kafka/log,/data02/kafka/log,/data03/kafka/log有时可能会看到类似下面的配置zookeeper.connect=hostname1:2181,hostname2:2181/kafka_cluster1那么..原创 2021-04-24 20:44:48 · 5947 阅读 · 0 评论 -
Kafka常用命令
# 创建topic并指定分区和副本/opt/kafka/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic topic01 --partitions 2 --replication-factor 2# 查看topic列表/opt/kafka/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181# 查看某个topic的详情/opt/kafka/原创 2020-12-30 19:39:58 · 208 阅读 · 0 评论