![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
无法无天过路客
Java程序员一枚,喜欢记录收集技术文章
展开
-
消息队列Kafka - 基本应用
场景分析 学过并发编程的同学应该知道,我们可以使用阻塞队列 + 线程池来实现生产者消费者模式。比如说在一个应用中,A方法调用B方法去执行一些任务处理,我们可以同步调用,但是如果这个时候请求比较多的情况下,同步调用比较耗时会导致请求阻塞,这时我们会使用阻塞队列+线程池来实现异步任务的处理。 那么,问题来了,如果是在分布式系统中,两个服务之间需要通过这种异步队列的方式来处理任务,那 单进程级别的队列...原创 2020-04-26 09:44:53 · 476 阅读 · 0 评论 -
消息队列Kafka - 为了追求极致的性能,Kafka掌控了这11项要领!
很多同学私信问我Kafka在性能优化方面做了哪些举措,对于相关问题的答案其实我早就写过了,就是没有系统的整理一篇,最近思考着花点时间来整理一下,下次再有同学问我相关的问题我就可以潇洒的甩个链接了。这个问题也是Kafka面试的时候的常见问题,面试官问你这个问题也不算刁难你。在网上也有很多相关的文章开讲解这个问题,比如之前各大公众号转载的“为什么Kafka这么快?”,这些文章我看了,写的不错,问题在于...转载 2020-04-26 09:47:04 · 174 阅读 · 0 评论 -
消息队列Kafka - 当面试官问你啥是Kafka的选举时,抓住机会“吊打”他!
面试官在考查你Kafka知识的时候很可能会故弄玄虚的问你一下:Kafka中的选举时怎么回事? 除非问你具体的哪种选举,否则问这种问题的面试官多半也是对Kafka一知半解,这个时候就是“弄死”他的时候。当然如果你没有一定的知识储备,那么就是你被“弄死”的时候。 一般问这个问题,那么他肯定知道其中的一种,比如分区leader的选举。 所谓分区leader的选举就是当ISR中的leader副本歇菜了,再...转载 2020-04-26 09:46:22 · 135 阅读 · 0 评论 -
消息队列Kafka - acks参数对消息持久化的影响
写在前面 这个acks参数在kafka的使用中,是非常核心以及关键的一个参数,决定了很多东西。所以无论是为了面试还是实际项目使用,大家都值得看一下这篇文章对Kafka的acks参数的分析,以及背后的原理。 如何保证宕机的时候数据不丢失? 如果要想理解这个acks参数的含义,首先就得搞明白kafka的高可用架构原理。 比如下面的图里就是表明了对于每一个Topic,我们都可以设置他包含几个Partit...转载 2020-04-26 09:46:11 · 263 阅读 · 0 评论 -
消息队列Kafka - 原理分析
通过前面两篇文章,我们对Kafka有了基本的认识,也了解了如何在Java中使用Kafka。从前面的整个过程看,只要不是很大规模的使用kafka,那基本上没什么大问题;否则,对于kafka本身运维的挑战会很大,同时,对于kafka参数的调优也是很重要的。 根据网上显示,快手在使用kafka集群规模是挺大的,他们在19年的开发者大会上有提到, 总机器数大概 2000 台;30 多个集群;topic 1...原创 2020-04-26 09:45:48 · 215 阅读 · 0 评论 -
消息队列Kafka - Java中如何是用Kafka进行通信
首先在项目中添加kafka的依赖: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.0.0</version> </de...原创 2020-05-02 17:44:49 · 669 阅读 · 0 评论