Kafka的架构组建
Topic:消息存放的目录主题
Producer:生产消息到topic的一方
Consumer:订阅topic消费消息的一方
Consumergroup:各个consumer可以组成一个组,每个消息只能被组中的一个consumer消费,如果一个消息能被多个consumer消费,那么这些个consumer肯定不在同一个组中
(所以同一个groupid下的consumer是各自消费消息的,不会出现消费同一个消息的情况出现
Kafka性能优秀原因揭秘
kafka中的message并不是保存在内存中的,而是保存在了磁盘上,唯一的区别是他运用了顺序写,而并非采用随机写,顺序写的速度在600MB/S,随机写的速度在100KB/S,这个性能的提升的效果明显的,顺序写的效率并不比内存写差,甚至合理运用效率更高(充分利用了操作系统的预读、后写机制)
kafka通过sendfile命令,减少了数据拷贝,数据的拷贝基本全在内存中完成。(原先是将数据从硬盘读到内核区的pageCache,然后用户进程copy到用户区,用户区在吧数据写进socket中)现在是省掉了用户copy数据这一步,直接让内核区的数据写入socket中
push-and-pull:producer批量的push数据,consumer批量的pull数据,减少了io的次数
kafka和rabbitmq区别
rabbitmq比kafka更严谨,不易出现消息的丢失,原因是rabbit有一个ack消息确认机制,只有消息处理完毕后,consumer才会给server发送一个回执,将queue中的消息删除,否则不会被删除
rabbitmq同样支持持久化,配置一个durable = true即可