- 博客(9)
- 收藏
- 关注
RSS订阅原创 Kafka Consumer Reblance
Kafka常见的消费模式会以组进行组织，通常Kafa会将Topic的分区均匀的分配给同一个组下的不同实例，通常的策略有以下三种：Range：将单个Topic的所有分区按照顺序排列，然后把这些分区划分成固定大小的分区段并分配给每个consumer，默认策略Round：将订阅所有的Topic分区轮询分配给每个conumserSticky：规避数据倾斜，最大限度保证两次reblance间维持之前...
2020-03-29 15:33:08
191
原创 Kafka Consumer
Kafka Consumer消费以组的方式划分，Topic中的每一个分区只会分给同一个组中的其中一个实例。这是基于队列模式，如果想基于发布订阅模式，那订阅同一个Topic的实例需要指定不同的组名。必需参数bootstrap.serversKafka服务器group.idConsumer Group的名字，唯一标识一个consumer groupkey.deserializerKey的...
2020-03-22 17:15:12
162
原创 Kafka Producer
Kafka Producer在发送消息大致有以下流程：首先将消息封装在ProducerRecord中，并且序列化将序列化后的消息发送给partitioner，partitioner主要用来确定消息发往哪个分区，默认的分区策略是轮询，如果消息有key，具有相同key的消息可以被发往同一分区，Kafka Producer也允许用户直接指定要发往的分区Producer有一个专门的Sender线...
2020-03-15 10:51:57
200
原创 Kafka Controller
Kafka除了状态管理以外，还主要有以下功能职责：更新集群元数据信息创建Topic删除Topic分区重分配preferred leader副本选举Topic分区扩展Broker加入集群Broker崩溃受控关闭controller leader选举职责功能更新集群元数据信息Client可以从任何一台broker上获取集群完整的元数据信息，这就需要controller在集...
2020-03-08 22:17:59
264
原创 Kafka Controller(状态管理)
Controller用来协调和管理Kafka集群，在一个Kafka集群中，只有一个broker可以当选Controller，当Controller在的broker宕机后，其他Broker可以竞争当选Controller。状态管理Controller被用在状态管理，主要用来管理每台broker上的分区副本和每台broker上分区的leader副本信息。上述两种状态可以成为副本状态和分区状态。为了...
2020-03-08 15:14:29
534
原创 Kafka日志清理
Kafka日志清理目前主要有两种策略：日志删除日志压缩：日志压缩就是根据key来保留最后一条消息。Kafka提供log.cleanup.policy参数进行相应配置，默认值：delete，还可以选择compact。日志删除配置默认值说明log.retention.check.interval.ms300000 (5分钟)检测频率log.retentio...
2020-03-07 15:18:56
367
原创 Netty概念和体系结构
异步和事件驱动 Netty是一款异步的事件驱动的网络应用程序框架，支持快速地开发可维护的高性能的面向协议的服务器和客户端。Netty简介 分类 Netty特性 设计 统一的API，支持多种传输类型，阻塞的和非阻塞的简单强的的线程模型真正的无连接数据报套接字支持链接逻辑组件以支持复用 易用使用 详实的Javadoc和大量的事例集不需要超过JDK1...
2018-07-09 21:00:14
121
原创 SSLSocket
SSLSocket定义SSLSocket扩展Socket并提供使用SSL或TLS协议的安全套接字。它也是基于正常的流套接字，但是在网络传输协议(如TCP)上添加了安全保护层。SSLSocket相关类 类 功能描述 SSLContext 该类的实例表示安全套接字协议的实现，是SSLSocketFactory、SSLServerSocketFactory和SS...
2018-07-02 20:43:44
590
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人