Kafka是一个高性能的流处理平台，用Scala和Java编写，最初由LinkedIn开发。本文介绍了Kafka的软件结构，包括Producer、Consumer和Topic。Kafka的特点在于其硬盘优化策略，如顺序读写和日志压缩。文章详细讲解了Kafka的安装配置，包括Zookeeper的设置，以及启动Kafka和Zookeeper的步骤。最后，提供了Kafka使用演示，包括发送和接收消息的示例代码。
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。Kafka最初是由LinkedIn开发，并随后于2011年初开源。
kafka软件结构
Kafka是一个结构相对简单的消息队列(MQ)软件
kafka软件结构图
Kafka Cluster(Kafka集群)
Producer:消息的发送方,也就是消息的来源,Kafka中的生产者
order就是消息的发送方,在Dubbo中order是消费者,这个身份变化了
Consumer:消息的接收方,也是消息的目标,Kafka中的消费者
stock就是消息的接收方,在Dubbo中stock是生产者,这个身份变化了
Topic:话题或主题的意思,消息的收发双方要依据同一个话题名称,才不会将信息错发给别人
Record:消息记录,就是生产者和消费者传递的信息内容,保存在指定的Topic中
Kafka的特征与优势
Kafka作为消息队列,它和其他同类产品相比,突出的特点就是性能强大
Kafka将消息队列中的信息保存在硬盘中
Kafka对硬盘的读取规则进行优化后,效率能够接近内存
硬盘的优化规则主要依靠"顺序读写,零拷贝,日志压缩等技术"
Kafka处理队列中数据的默认设置:
Kafka队列信息能够一直向硬盘中保存(理论上没有大小限制)
Kafka默认队列中的信息保存7天,可以配置这个时间,缩短这个时间可以减少Kafka的磁盘消耗
最低0.47元/天 解锁文章
9919
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
