Kafka 学习笔记(2) - Topic 和 Log

最新推荐文章于 2023-05-25 23:03:34 发布
最新推荐文章于 2023-05-25 23:03:34 发布
阅读量1.6k 收藏
点赞数
分类专栏： MQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jlaky/article/details/49175975
版权


A topic is a category or feed name to which messages are published.

每个Partition都是一个排序的和不可变的消息队列，新消息都会append到结尾，每个message都会分配一个sequential id, 叫做offset，作为message的唯一的id


注意的是Kafka的Cluster会保存在某个配置期间内(log retention)所有的message，不管它有没有被consume。超过配置期间的消息会被删除。Kafka的性能是相对稳定，不会随着size增长而增长。


每个Consumer需要自己维护自己consume的消息的offset，通过这种方式来保证读取速度而不用去考虑多个消息consumer相互之间的影响。并且，读取顺序也是每个consumer自己控制。


Consumer这种设计的好处是实现复杂度低，consumer开销小，它的添加或者删除对cluster impact比较小


Partition的设计的优点: 首先是能够允许log存储在多个节点上满足量的需求，其次它满足了并发处理的需求

jlaky
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka中的消息(topic)和日志(log)
swadian2008的博客
03-28 9763
目录 一、消息和日志的关系 二、查看Kafka主题(Topic)情况 三、查看Kafka数据存储(Log)情况 一、消息和日志的关系 可以理解Topic是一个类别的名称，同类消息发送到同一个Topic下面。对于每一个Topic，下面可以有多个分区(Partition)日志文件: Partition是一个有序的message序列(消息队列)，这些message按顺序添加到一个叫做commit log的文件中。每个partition中的消息都有一个唯一的编号，称之为offset，用来唯一标示某个
kafka 物理文件详解 (Log)
weixin_42608441的博客
03-07 1336
kafka 物理文件解析 .log .index
Kafka的Topic配置详解
大JAVA解决方案
11-06 5455
一、Kafka中topic级别配置 配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。 创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max message size 和 flush rate. (A)创建topic时配置参数 bin/kafka-topics.sh --zookeeper 192.168.2.225:2183/c...
Kafka的log存储以及查询机制
qq_15083919的博客
05-29 1271
kafka中log日志目录及组成 kafka在我们指定的log.dir目录下，会创建一些文件夹；名字是【主题名字-分区名】所组成的文件夹。 在【主题名字-分区名】的目录下，会有两个文件存在，如下所示： #索引文件 00000000000000000000.index #日志内容 00000000000000000000.log 在目录下的文件，会根据log日志的大小进行切分，.log文件的大小为1G的时候，就会进行切分文件 在kafka的设计中，将offset值作为了文件名的一部分
kafka 设置topic的数据时间为log日志生成的时间
m0_65850671的博客
02-08 1933
message.timestamp.type
kafka-logsize-exporter:Python prometheus client for kafka logsize(Prometheus基于kafka logsize监控)
04-27
kafka-logsize-exporter 安装 下载，解压缩 入门 pip install -r requirement.txt vim cluster.conf # cluster name alias [kafka1003] # zookeeper zk = 127.0.0.1:2128/kafka1003 # kafka broker list brokers = ...
kafka-schema-registry-client-6.2.2.jar
04-25
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=6.2.2 -Dfile=/root/kafka-schema-registry-client-6.2.2.jar -Dpackaging=jar 官网下载地址 packages....
5、kafka监控工具Kafka-Eagle介绍及使用
05-29
2. **直观界面**：Kafka-Eagle 提供了一个友好的 Web UI，使得管理员可以轻松地查看和分析 Kafka 集群的状态。 3. **性能优化**：通过实时展示各种性能指标，Kafka-Eagle 帮助管理员识别潜在的性能瓶颈，进行相应的...
kafka扩容方案-kafka-manager重新分配topic
10-21
扩容方案可以分为五个步骤：扩容准备、扩容 Kafka 服务、部署 kafka-manager、 Topic 迁移和修改连接配置。 1. 扩容准备 在扩容之前，需要准备好新的节点，包括新节点的 Kafka 服务目录、日志目录和配置文件。新...
kafka-eagle-bin-2.1.0.tar.gz
07-05
2. 解压：使用`tar -zxvf kafka-eagle-bin-2.1.0.tar.gz`命令解压到指定目录。 3. 配置：修改`conf/kafka-eagle.properties`文件，配置Kafka集群地址、Zookeeper地址及其他必要参数。 4. 启动：执行`bin/kafka-eagle...
kafka的log存储解析
2301_77822280的博客
05-25 1125
建立索引，而是采用了稀疏存储的方式，每隔一定字节的数据建立一条索引。也不能一次定位到其在数据文件的位置，从而需要做一次顺序扫描，但是这次顺序扫描的范围就很小了。大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。每个分段后的数据文件建立了索引文件，文件名与数据文件的名字是一样的，只是文件扩展名为。索引文件被映射到内存中，所以查找的速度还是很快的。的控制权，可以向后回滚去重新消费之前的消息，这是很有意义的。是以文件的形式存储在文件系统中，比如，创建了一个名为。
Topic 和 Log
zhanghuang的博客
04-01 540
    对每个Topic，kafka集群维护如下图所示的partiton的log     一个topic可以分成多个partition，每个partition都是有序的，可以持续追加记录的不可变的序列，其中每个记录都被分配一个序列号，称为偏移量(offset)，在每个partition中此偏移量都是唯一的。     发布到Kafka集群的消息,无论是否被消费,都会保留一段时间，保留的时间是可配置的...
在filebeat 6.0.0中如何将log输出到不同到kafka topics
点火三周的专栏
11-29 2万+
2017年11月，elastic发布了最新的elastic stack 6.0.0版本，整个版本做了不少的改动，大家可以查阅官方的release note和break change。我们第一时间尝鲜，将日志分析系统升级到6.0.0。坑肯定是少不了了，这里，说一下filebeat升级后但影响。 在filebeat 5.x的版本中，如果你想在一个filebeat agent上收集不同的log，然后pub
Rancher从入门到精通- Filebeats input多个log文件，输出Kafka多个topic配置
隔壁老瓦的专栏
08-18 1162
filebeat.inputs: - type: log paths: - /home/resource/project/upload/logs/userorderinfo_*.log fields: log_topic: userOrder - type: log paths: - /home/resource/project/upload/logs/useraction_*.log fields: log_topic...
filebeat output kafka配置参数
qq522044637的博客
07-09 6793
目录 配置Kafka output Example configuration 兼容性 配置选项 enable host version username password sasl.mechanism topic topics key partition client_id worker codec metadata max_retries bulk_max_size bulk_flush_frequency timeout broket_timeout
logstash处理多个topic，处理不同类型的日志
xp的博客
04-24 7746
背景 之前已经收集了k8s的日志，但是现在又想通过filebeat收集物理机的程序日志，传输到kafka，并通过logstash输出到es，有个小问题就是，如何在logstash中区分开不同的topic，或者相同topic中不同程序日志，假设多种程序日志的日志格式相同，并且已经配置了grok过滤 思考 解决收集本地日志，并且输出到kafka 处理java异常日志 logstash从topic中过...
08. 《Lombok 实战 —— @Log》
从心初发
01-23 7197
文章目录《道空 Lombok 实战 —— @Log》1. @Log 体系简介2. @Log 实战使用3. @Log 注解详解4. @Log 全局配置参考文档 《道空 Lombok 实战 —— @Log》 Captain’s Log, stardate 24435.7: “What was that line again?” 在lombok v0.10中添加了各种@Log变体。 lombok 0...
Kafka的Log存储解析
热门推荐
jewes的专栏
01-21 4万+
Kafka的Log存储解析 标签（空格分隔）： kafka 引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partit
(二)Topic和log
User_meng的博客
04-05 245
(二)Topic和log 此文档为本人学习kafka记录 官方文档: https://kafka.apache.org/documentation/ 参考资料: 《深入理解Kafka：核心设计与实践原理》 朱小厮 Topic Topic是发布消息的类别和订阅源的名称 Kafka 的Topic总是多用户的 一个Topic 可以有0个或者是多个消费者订阅它写入的数据 part...
进入目录/simple/kafka_2.10-0.8.1.1，执行命令bin/kafka-topics.sh --create --zookeeper simple:2181 --replication-factor 1 --partitions 1 --topic logtopic ，bin/kafka-console-producer.sh --broker-list simple:9092 --topic logtopic ，bin/kafka-console-consumer.sh --zookeeper simple:2181 --from-beginning --topic logtopic 是什么意思
最新发布
06-07
2. `bin/kafka-console-producer.sh --broker-list simple:9092 --topic logtopic`：启动一个控制台生产者(console producer)程序，用于向名为`logtopic`的主题发送消息。`--broker-list`参数指定了Kafka broker的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值