kafka高级特性
文章平均质量分 92
kafka高级特性
学nm个锤子
Qtmd
展开
-
kafka消息存储,性能分析,消息可靠性
一,消息的存储消息发送端发送消息到broker上以后,消息是如何持久化的呢?kafka是使用日志文件的方式来保存生产者和发送者的消息,每条消息都有一个offset值来表示它在分区中的偏移量。Kafka中存储的一般都是海量的消息数据,为了避免日志文件过大,Log并不是直接对应在一个磁盘上的日志文件,而是对应磁盘上的一个目录,这个目录的命名规则是<topic_name>_<partition_id>消息的文件存储机制一个topic的多个partition在物理磁盘上的保存路径,路原创 2021-01-29 22:16:26 · 389 阅读 · 0 评论 -
kafka的实现原理
一,java中使用kafka进行通信kafka对于消息的发送,可以支持同步和异步,同步会需要阻塞,而异步不需要等待阻塞的过程。从本质上来说,kafka都是采用异步的方式来发送消息到broker,但是kafka并不是每次发送消息都会直接发送到broker上,而是把消息放到了一个发送队列中,然后通过一个后台线程不断从队列取出消息进行发送,发送成功后会触发callback。kafka客户端会积累一定量的消息统一组装成一个批量消息发送出去,触发条件是前面提到的batch.size和linger.ms而同步发送原创 2021-01-29 20:33:48 · 971 阅读 · 0 评论 -
kafka的基本使用
一,消息中间件的设计1,基本需求最基本的是要能支持消息的发送和接收,需要涉及到网络通信就一定会涉及到NIO消息中心的消息存储(持久化/非持久化)消息的序列化和反序列化是否跨语言消息的确认机制,如何避免消息重发2,高级功能消息的有序性是否支持事务消息消息收发的性能,对高并发大数据量的支持是否支持集群消息的可靠性存储是否支持多协议二,Kafka的介绍1,什么是卡夫卡Kafka是一款分布式消息发布和订阅系统,它的特点是高性能、高吞吐量。2,卡夫卡的应用场景由于kafka具有更好原创 2021-01-29 15:17:49 · 1982 阅读 · 1 评论