weixin_43140610的博客

原创 kafka 在大数据领域应用及端到端一致性机制

kafka在大数据架构应用很广，在大数据领域，特别是实时处理，由于数据量大，QPS高，在架构设计，都会采用kafka结合应用，用kafka暂存大量数据，然后业务端才会接入kafka开始处理业务逻辑，那kafka有哪些优点： 1、高吞吐、低延迟：kafka每秒可以处理几十万消息，它延迟最低只有几毫秒。 2、可扩展性，kafka集群支持热扩展，不同业务端，只要设定不同的groupId，即可快速接入kakfa来处理业务逻辑 3、持久性、可靠性：消息被持久化到本地磁盘，并且支...