消息队列面试突击
文章平均质量分 73
程序员打篮球
一个每天都在撸代码但对篮球特别有瘾的程序猿
展开
-
kafka学习七:kafka之集群篇
目录掌握Kafka集群部署了解Kafka集群高层架构掌握Kafka集群多项核心特性Kafka集群部署Kafka天然支持集群Kafka集群依赖于Zookeeper进行协调Kafka主要通过brokerId区分不同节点复制kafka副本[root@localhost install]# mv kafka_2.11-2.4.0 kafka_1/[root@localhost install]# cp -r kafka_1/ kafka_2/[root@localhost install]原创 2020-11-11 15:00:54 · 399 阅读 · 0 评论 -
kafka学习五:kafka之Consumer API
目录熟练掌握kafka之Consumer客户端了解kafka Consumer客户端配置掌握kafka Consumer高级特性Consumer客户端Consumer之API/*** 自动提交*/public static void consumPractic(){ Properties props = new Properties(); props.setProperty("bootstrap.servers", "192.163.124.3:9092原创 2020-07-14 22:16:12 · 203 阅读 · 0 评论 -
kafka学习四:kafka之Producer API
目录熟练掌握Kafka之Producer API了解Producer各项重点配置熟练掌握Producer负载均衡等高级特性Producer发送模式同步发送异步发送异步回调发送kafka异步发送/** - producer异步发送演示,一般情况下使用这种发送方式 */ public static void producerSend(){ Properties properties = new Properties(); properties.put(P原创 2020-07-12 14:52:44 · 455 阅读 · 0 评论 -
kafka学习三:kafka客户端操作
目录掌握构建kafka之Java客户端了解kafka客户端类型及其区别掌握kafka客户端的基本操作Kafka客户端操作如图所示,kafka给我提供了admin、producer、consumer、connectors、stream五种客户端。我们主要学习producer、consumer两种客户端。其中consumer客户端API操作比较复杂。Kafka客户端API类型AdminClient API:允许管理和检测Topic、broker以及其它kafka对象Producer AP原创 2020-07-11 15:27:11 · 343 阅读 · 0 评论 -
kafka学习二:初识kafka
目录介绍并安装kafka熟悉kafka启停操作熟悉kafka常见控制台操作介绍kafkaA distributed streaming platform(分布式的流平台)1.官方地址:http://kafka.apache.org/2.主要用于大数据处理,对接spark、fink等实时流处理平台。3.kafka是基于zookeeper的分布式消息系统。4.kafka具有高性能、实时、高吞吐率及考可靠等基于流平台的特点,它并不是一个纯粹的消息系统。安装kafka依赖安装包清单原创 2020-07-10 11:12:40 · 197 阅读 · 0 评论 -
kafka学习一:环境准备
@kafka学习一:环境准备1.学习kafka需要准备的环境备宿主机使用xshell工具连接至宿主机准备域名1.1宿主机要求CentOS7阿里云或者其它云厂本地虚拟机+内网穿透1.1.1云端构建步骤选择云厂并购买ECS服务器域名购买1.按照步骤进行购买,由于域名购买需要创建信息模板进行验证,去管局审核。2.审核成功后再进行备案,填写企业法人的亲笔签名和阿里云蓝底幕布照片(可以向客服要免费邮寄过来),信息填写完成后进行一天人工审核。3.提交至管局20个原创 2020-07-09 11:38:00 · 166 阅读 · 0 评论 -
消息队列面试突击七:消息队列消息大量积压
面试题如何解决消息队列的延时以及过期失效问题?消息队列满了以后该怎么处理?有几百万消息持续积压几小时,说说怎么解决?面试官心里分析你看这问法,其实本质针对的场景,都是说,可能你的消费端出了问题,不消费了,或者消费的极其极其慢。接着就坑爹了,可能你的消息队列集群的磁盘都快写满了,都没人消费,这个时候怎么办?或者是整个这就积压了几个小时,你这个时候怎么办?或者是你积压的时间太长了,导致比如rabbitmq设置了消息过期时间后就没了怎么办?所以就这事儿,其实线上挺常见的,一般不出,一出就是大case,一般原创 2020-07-19 21:49:31 · 91 阅读 · 0 评论 -
消息队列面试突击六:消息队列的顺序性
消息队列消息的顺序性面试题如何保证消息的顺序性?面试官心里分析其实这个也是用MQ的时候必问的话题,第一看看你了解不了解顺序这个事儿?第二看看你有没有办法保证消息是有顺序的?这个生产系统中常见的问题。面试题剖析我举个例子,我们以前做过一个mysql binlog同步的系统,压力还是非常大的,日同步数据要达到上亿。mysql -> mysql,常见的一点在于说大数据team,就需要同步一个mysql库过来,对公司的业务系统的数据做各种复杂的操作。你在mysql里增删改一条数据,对原创 2020-07-19 20:00:58 · 91 阅读 · 0 评论 -
消息队列面试突击五:消息队列的传输可靠性
消息队列消息传递可靠性面试题如何保证消息的可靠性传输(如何处理消息丢失的问题)?面试官心里分析这个是肯定的,用mq有个基本原则,就是数据不能多一条,也不能少一条,不能多,就是刚才说的重复消费和幂等性问题。不能少,就是说这数据别搞丢了。那这个问题你必须得考虑一下。如果说你这个是用mq来传递非常核心的消息,比如说计费,扣费的一些消息,因为我以前设计和研发过一个公司非常核心的广告平台,计费系统,计费系统是很重的一个业务,操作是很耗时的。所以说广告系统整体的架构里面,实际上是将计费做成异步化的,原创 2020-07-19 17:07:00 · 71 阅读 · 0 评论 -
消息队列面试突击四:消息队列的幂等性、不重复消费
面试场景面试题如何保证消息不被重复消费啊(如何保证消息消费时的幂等性)?面试心里分析其实这个很常见的一个问题,这俩问题基本可以连起来问。既然是消费消息,那肯定要考虑考虑会不会重复消费?能不能避免重复消费?或者重复消费了也别造成系统异常可以吗?这个是MQ领域的基本问题,其实本质上还是问你使用消息队列如何保证幂等性,这个是你架构里要考虑的一个问题。面试官问你,肯定是必问的,这是你要考虑的实际生产上的系统设计问题。面试题剖析回答这个问题,首先你别听到重复消息这个事儿,就一无所知吧,你先大概原创 2020-07-19 11:07:32 · 80 阅读 · 0 评论 -
消息队列面试突击三:消息队列的高可用
场景如何保证消息队列的高可用啊?面试官心理分析如果有人问到你MQ的知识,高可用是必问的,因为MQ的缺点,我刚才已经说过了,有好多,导致系统可用性降低,等等。所以只要你用了MQ,接下来问的一些要点肯定就是围绕着MQ的那些缺点怎么来解决了。要是你傻乎乎的就干用了一个MQ,各种问题从来没考虑过,那你就杯具了,面试官对你的印象就是,只会简单实用一些技术,没任何思考,马上对你的印象就不太好了。这样的同学招进来要是做个20k薪资以内的普通小弟还凑合。如果招进来做薪资20多k的高工,那就惨了,让你设计个系统,里原创 2020-07-19 10:17:59 · 85 阅读 · 0 评论