Kafka-1.0
小马的学习笔记
这个作者很懒,什么都没留下…
展开
-
kafka安装部署及集群部署,基本使用和应用
下载安装包https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1.1.0.tgz安装过程1.tar -zxvf 解压安装包kafka目录介绍 /bin 操作 kafka 的可执行脚本 /config 配置文件 /libs 依赖库目录 /logs 日志数据目录 启动/停止 ...原创 2019-08-14 17:55:07 · 446 阅读 · 0 评论 -
kafka的Topic&Partition
关于 Topic 和 PartitionTopic在 kafka 中,topic 是一个存储消息的逻辑概念,可以认为是一个消息集合。每条消息发送到 kafka 集群的消息都有一个类别。物理上来说,不同的 topic 的消息是分开存储的,每个 topic 可以有多个生产者向它发送消息,也可以有多个消费者去消费其中的消息。Partition每个 topic 可以划分多个...原创 2019-08-14 18:10:31 · 1203 阅读 · 0 评论 -
kafka的消息分发策略和如何保存消费端的消费位置
关于消息分发kafka 消息分发策略消息是 kafka 中最基本的数据单元,在 kafka 中,一条消息由 key、value 两部分构成,在发送一条消息时,我们可以指定这个 key,那么 producer 会根据 key 和 partition 机制来判断当前这条消息应该发送并存储到哪个 partition 中。我们可以根据需要进行扩展 producer 的 partition 机制。...原创 2019-08-14 18:19:42 · 1950 阅读 · 0 评论 -
kafka消息的存储原理
消息的文件存储机制前面我们知道了一个 topic 的多个 partition 在物理磁盘上的保存路径,那么我们再来分析日志的存储方式。通过如下命令找到对应 partition 下的日志内容[root@localhost ~]# ls /tmp/kafka-logs/firstTopic-1/00000000000000000000.index 00000000000000000000...原创 2019-08-14 18:29:51 · 1729 阅读 · 1 评论 -
kafka的消息存储策略
消息的保存路径消息发送端发送消息到 broker 上以后,消息是如何持久化的呢?那么接下来去分析下消息的存储,首先我们需要了解的是,kafka 是使用日志文件的方式来保存生产者和发送者的消息,每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据,为了避免日志文件过大,Log 并不是直接对应在一个磁盘上的日志文件,而是对应磁盘上的一个目录,这个目...原创 2019-08-14 18:32:00 · 2871 阅读 · 0 评论 -
kafka的partition 的高可用副本机制
partition 的高可用副本机制我们已经知道Kafka的每个topic都可以分为多个Partition,并且多个 partition 会均匀分布在集群的各个节点下。虽然这种方式能够有效的对数据进行分片,但是对于每个partition 来说,都是单点的,当其中一个 partition 不可用的时候,那么这部分消息就没办法消费。所以 kafka 为了提高 partition 的可靠性而提供了副...原创 2019-08-14 18:37:26 · 1530 阅读 · 1 评论 -
kafka的副本数据的同步原理
在《kafka的partition 的高可用副本机制》一文中介绍了parttion的高可用原理,副本机制中的几个概念和协同机制后,下面来说说副本数据的同步原理。数据的同步过程了解了副本的协同过程以后,还有一个最重要的机制,就是数据的同步过程。它需要解决 怎么传播消息 在向消息发送端返回 ack 之前需要保证多少个 Replica已经接收到这个消息 数据的处理过程是P...原创 2019-08-14 18:44:17 · 6954 阅读 · 0 评论 -
kafka产生的背景和架构
kafka产生的背景什么是kafka?Kafka 是一款分布式消息发布和订阅系统,具有高性能、高吞吐量的特点而被 广泛应用与大数据传输场景。它是由 LinkedIn 公司开发,使用 Scala 语言编 写,之后成为 Apache 基金会的一个顶级项目。kafka 提供了类似 JMS 的特 性,但是在设计和实现上是完全不同的,而且他也不是 JMS 规范的实现kafka产生的背景kaf...原创 2019-08-11 19:19:07 · 970 阅读 · 0 评论 -
Kafka 参数调优实战
1、背景引入:很多同学看不懂kafka参数今天给大家聊一个很有意思的话题,大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。而在使用Kafka的客户端编写代码与服务器交互的时候,是需要对客户端设置很多的参数的。所以我就见过很多年轻的同学,可能刚刚加入团队,对Kafka这个技术其实并不是很了解。此时就会导致他们看团队里的一些资深同事写的一些代码,会看不懂是怎么回事,...转载 2019-08-15 18:36:39 · 357 阅读 · 0 评论