Kafka宕机引发的高可用问题
问题要从一次Kafka的宕机开始说起。
笔者所在的是一家金融科技公司,但公司内部并没有采用在金融支付领域更为流行的RabbitMQ,而是采用了设计之初就为日志处理而生的Kafka,所以我一直很好奇Kafka的高可用实现和保障。从Kafka部署后,系统内部使用的Kafka一直运行稳定,没有出现不可用的情况。
但最近系统测试人员常反馈偶有Kafka消费者收不到消息的情况,登陆管理界面发现三个节点中有一个节点宕机挂掉了。但是按照高可用的理念,三个节点还有两个节点可用怎么就引起了整个集群的消费者都接收不到消息呢?
要解决这个问题,就要从Kafka的高可用实现开始讲起。
02 JVM
- 线程
- JVM内存区域
- JVM运行时内存
- 垃圾回收与算法
- JAVA四种引用类型
- GC分代收集算法 VS 分区收集算法
- GC垃圾收集器
- JAVA IO/NIO
- JVM类加载器
03 JAVA集合
- 接口继承关系和实现
- LIST
- SET
- MAP
04 JAVA多线程并发
- JAVA并发知识库
- JAVA线程实现/创建方式
- 4种线程池
- 线程生命周期(状态)
- 终止线程4种方式
- sleep与wait区别
- start与run区别
- JAVA后台线程
- JAVA锁
- 线程基本方法
- 线程上下文切换
- 同步锁与死锁
- 线程池原理
- JAVA阻塞队列原理
- CyclicBarrier、CountDownLatch、Semaphore的方法
- voliate关键字的作用(变量可见性、禁止重排序)
- 如何在两个线程之间共享数据
- Threadlocal作用(线程本地存储)
- synchronized和ReentrantLock的区别
- ConcurrentHashMap并发
- Java中用到的线程调度
- 进程调度算法
- 什么是CAS(比较并交换-乐观锁机制-锁自旋)
- 什么是AQS(抽象的队列同步器)
05 JAVA基础
- JAVA异常分类及处理
- JAVA反射
- JAVA注解
- JAVA内部类
- JAVA泛型
- JAVA序列化(创建可复用的Java对象)
- JAVA复制
06 Spring原理
- Spring特点
- Spring核心组件
- Spring常用模块
- Spring主要包
- Spring常用注解
- Spring第三方结合
- Spring IOC原理
- Spring APO原理
- Spring MVC原理
- Spring Boot原理
- JPA原理
- Mybatis缓存
- Tomcat架构
07 微服务
- 服务注册发现
- API网关
- 配置中心
- 事件调度(kafka)
- 服务跟踪(starter-sleuth)
- 服务熔断(Hystrix)
- API管理
08 Netty与RPC
- Netty原理
- Netty高性能
- Netty RPC实现
- RMI实现方式
- Protocol Buffer
- Thrift
09 网络
- 网络7层架构
- TCP/IP原理
- TCP三次握手/四次挥手
- HTTP原理
- CDN原理
10 日志
- Slf4j
- Log4j
- logBack
- ELK
11 Zookeeper
- Zookeeper概念
- Zookeeper角色
- Zookeeper工作原理(原子广播)
- Zonde有四种形式的目录节点
12 Kafka
- Kafka概念
- Kafka数据存储设计
- 生产者设计
- 消费者设计
13 RabbitMQ
- 概念
- RabbitMQ 架构
- Exchange类型
14 Hbase
- 概念
- 列式存储
- Hbase核心概念
- Hbase核心架构
- Hbase的写逻辑
- Hbase VS Cassandra
15 MongoDB
- 概念
- 特点
16 Cassandra
- 概念
- 数据模型
- Cassandra一致hash和虚拟节点
- Gossip协议
- 数据复制
- 数据写请求和协调者
- 数据读请求和后台修复
- 数据存储(Commitlog、MemTable、SSTable)
- 二级索引
- 数据读写
17 设计模式
- 设计原则
- 工厂方法模式
- 抽象工厂模式
- 单例模式
- 建造者模式
- 原型模式
- 适配器模式
- 装饰器模式
- 代理模式
- 外观模式
- 桥接模式
- 组合模式
- 享元模式
- 策略模式
- 模板方法模式
- 观察者模式
- 迭代子模式
- 责任链模式
- 命令模式
- 备忘录模式
- 状态模式
- 访问者模式
- 中介者模式
- 解释器模式
18 负载均衡
- 四层负载均衡 VS 七层负载均衡
- 负载均衡算法/策略
- LVS
- Keepalive
- Nginx反向代理负载均衡
- HAProxy
19 数据库
- 存储引擎
- 索引
- 数据库三范式
- 数据库事务
- 存储过程(特定SQL语句集)
- 触发器
- 数据库并发策略
- 数据库锁
- 基于Redis分布式锁
- 分区分表
- 两阶段提交协议
- 三阶段提交协议
- 柔性事务
- CPA
20 一致性哈希
- Paxos
- Zab
- Raft
- NWR
- Gossip
- 一致性hash
21 JAVA算法
- 二分查找
- 冒泡排序算法
- 插入排序算法
- 快速排序算法
- 希尔排序算法
- 归并排序算法
- 桶排序算法
- 基数排序算法
- 剪枝算法
- 回溯算法
- 最短路径算法
- 最大子数组算法
- 最长公共子序算法
- 最小生成树算法
22 数据结构
- 栈
- 队列
- 链表
- 散列表
- 排序二叉树
- 红黑树
- B-Tree
- 位图
23 加密算法
- AES
- RSA
- CRC
- MD5
24 分布式缓存
- 缓存雪崩
- 缓存穿透
- 缓存预热
- 缓存更新
- 缓存降级
25 Hadoop
- 概念
- HDFS
- MapReduce
- Hadoop MaReduce作业的生命周期
26 Spark
- 概念
- 核心架构
- 核心组件
- SPARK编程模型
- SPARK计算模型
- SPARK运行流程
- SPARK RDD
- SPARK RDD流程
27 Storm
- 概念
- 集群架构
- 编程模型
- Toplogy运行
- Strom Streaming Grouping
28 YARN
- 概念
- ResourceMananger
- NodeMananger
- ApplicationMaster
- YARN运行流程
29 机器学习
- 决策树
- 随机森林算法
- 逻辑回归
- SVM
- 朴素贝叶斯
- K最近邻算法
- K均值算法
- Adaboost算法
- 神经网络
- 马尔可夫
30 云计算
- SaaS
- PaaS
- IaaS
- Docker
- OpenStack
总结
本文从基础到高级再到实战,由浅入深,把MySQL讲的清清楚楚,明明白白,这应该是我目前为止看到过最好的有关MySQL的学习笔记了,我相信如果你把这份笔记认真看完后,无论是工作中碰到的问题还是被面试官问到的问题都能迎刃而解!
重要的事:需要领取完整版的MySQL学习笔记的话,请转发+关注后点这里免费获取到免费的下载方式!
MySQL50道高频面试题整理:
神经网络
- 马尔可夫
30 云计算
- SaaS
- PaaS
- IaaS
- Docker
- OpenStack
[外链图片转存中…(img-bBFbaIWK-1624460330129)]
总结
本文从基础到高级再到实战,由浅入深,把MySQL讲的清清楚楚,明明白白,这应该是我目前为止看到过最好的有关MySQL的学习笔记了,我相信如果你把这份笔记认真看完后,无论是工作中碰到的问题还是被面试官问到的问题都能迎刃而解!
重要的事:需要领取完整版的MySQL学习笔记的话,请转发+关注后点这里免费获取到免费的下载方式!
MySQL50道高频面试题整理: