![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
JuCoding
这个作者很懒,什么都没留下…
展开
-
Kafka如何通过精妙的架构设计优化JVM GC问题?
1、Kafka的客户端缓冲机制 首先,先得给大家明确一个事情,那就是在客户端发送消息给kafka服务器的时候,一定是有一个内存缓冲机制的。 也就是说,消息会先写入一个内存缓冲中,然后直到多条消息组成了一个Batch,才会一次网络通信把Batch发送过去。 整个过程如下图所示: 2、内存缓冲造成的频繁GC问题 那么这种内存缓冲机制的本意,其实就是把多条消息组成一个Batch,一次网络请求就是一个B...原创 2019-07-05 15:05:17 · 1208 阅读 · 0 评论 -
Kafka是如何实现高性能的?
Kafka是如何实现高性能的? 1. 宏观架构层面利用Partition实现并行处理 Kafka中每个Topic都包含一个或多个Partition,不同Partition可位于不同节点。同时Partition在物理上对应一个本地文件夹,每个Partition包含一个或多个Segment,每个Segment包含一个数据文件和一个与之对应的索引文件。 在逻辑上,可以把一个Partition当作一个...原创 2019-07-16 11:23:49 · 407 阅读 · 2 评论 -
Kafka acks参数对消息持久化的影响
目录 (1)如何保证宕机时数据不丢失? (2)多副本冗余的高可用机制 (3)多副本之间数据如何同步? (4)ISR到底指的什么东西? (5)acks参数的含义? (6)最后的思考 这个acks参数在kafka的使用中,是非常核心以及关键的一个参数,决定了很多东西。 所以无论是为了面试还是实际项目使用,大家都值得看一下这篇文章对Kafka的acks参数的分析,以及背后的原理。 (1)如何保证宕机的时...原创 2019-07-05 15:01:38 · 144 阅读 · 0 评论