消息中间件Kafka

今天谈谈我今天看的消息中间件Kafka。
1、kafka特点和使用场景
Kafka作为一种高吞吐量、分布式的发布-订阅系统。
a、具有较高的吞吐量,用来支持实时的日志收集系统
b、能够很好的处理好积压的数据量,用来加载离线数据c
c、消息持久化
这个特点主要Kafka是利用文件系统来存储,虽让磁盘的读写在某些情况下效率比较低,但是Kafka是离线线性磁盘读写,效率是随机的很多倍,所以效率不一定很低。
d、有较好的容错机制

2、下面是利用Kafka的几个系统
消息系统:分布式、高吞吐量、备份冗余(如果一个服务器坏了,可以有另一个服务器代替,这个系统不受影响)
应用监控:这个系统主要是用来监控服务的健康状况,一般服务指标是cpu占用率、io内存、连接数
网站用户行为追踪:这个系统主要记录用户的操作轨迹,通过数据建模形成用户个性推荐。

3、说一下Kafka的基本结构
topic:一组消息抽象成一个主题,用于对消息的分类。
message(record):消息
partition:分区是由一些有序、不可变的消息组成一个有序队列,还有就是一个主题可以分成很多区。
broker:代理是一个Kafka的一个实例,也可以说是一个Kafka服务器,broker.id是它的唯一标识。
消费者与消费组:每一个消费者都有一个消费组(group.id),每一个消费者都有一个全局唯一标识(client.id).
注意:同一个主题中的一条消息,只能被同一个消费组中一个消费者消费,但是可以被不同消费组的不同消息者消费。

4、Kafka运行机制
Kafka运行时在zookeeper(管理Kafka集群)创建一些节点,保存元数据信息,之后Kafka通过监听机制注册一些监听器来监听这些节点变化。
希望大家每一个人都给我提一些建议,我在这里恭候大家的光临。
这篇文章有什么问题,或有侵权,请及时联系我,也请大家见谅!
今天看的和写这篇文章参考的书是《Kafka入门与实战》,
.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值