- 博客(8)
- 资源 (5)
- 收藏
- 关注
原创 【源码解析】Sharding-Jdbc模块分析
最新的2.0版本的Sharding-Jdbc版本,由于需要支持动态配置加载,所以最新的模块信息如下:|-sharding-jdbc |-sharding-jdbc-core |-api |-constant |-exception |-executor |-hint |-jdbc
2017-11-20 16:34:34 769
原创 【Kafka源码】KafkaConsumer
一偏移量和消费者位置Offsets And Consumer position1 TopicPartition2 committed position提交偏移量二消费分组和主题订阅Consumer Groups and Topic Subscriptions三检测消费者失败Detecting Consumer Failures三举例1 自动提交Automatic Offset Commi
2017-11-16 13:31:22 526
原创 【Kafka源码】处理请求
一KafkaRequestHandlerPool二KafkaApishandle1 ApiKeys枚举类三Request数据结构1 requestId2 header3 body在KafkaServer中的入口在:apis = new KafkaApis(socketServer.requestChannel, replicaManager, groupCoordinator,
2017-11-15 10:42:59 955
原创 【Kafka源码】broker被选为controller之后的连锁反应
一controller epoch二注册监听器1 registerReassignedPartitionsListener11 initiateReassignReplicasForTopicPartition12 onPartitionReassignment2 registerIsrChangeNotificationListener3 registerPreferredReplic
2017-11-13 16:42:35 2559
原创 【Kafka源码】KafkaController启动过程
一入口二实例化Controller三Controller启动1 registerSessionExpirationListener11 onControllerResignation12 controllerElectorelect2 controllerElectorstartup21 leaderChangeListener22 elect之前聊过了很多Kafka启动过程中的一
2017-11-08 17:31:23 582
原创 【Kafka源码】ReplicaManager启动过程
一入口二ReplicaManager实例化三启动ReplicaManager1 maybeShrinkIsr2 maybePropagateIsrChanges在KafkaServer启动过程的入口中,会启动Replica Manager,众所周知,这是一个副本管理器。replica在Kafka中扮演的角色很重要,是保证消息不丢失的一个重要概念。replica的个人理解概念如下:produ
2017-11-08 11:26:25 443
原创 【Kafka源码】SocketServer启动过程
SocketServer主要用于接收外部的网络请求,并把请求添加到请求队列中。一、入口在KafkaServer.scala中的start方法中,有这样的入口:socketServer = new SocketServer(config, metrics, kafkaMetricsTime)socketServer.startup()这块就是启动了一个SocketServer,我们具体看一下。二、构
2017-11-07 14:16:38 547
原创 【Kafka源码】日志处理
目前来说,kafka的日志中记录的内容比较多,具体的存储内容见这篇博客,写的比较好。可以看到,存储的内容还是比较多的,当存储文件比较大的时候,我们应该如何处理这些日志?下面我们通过kafka启动过程的源码,分析下kafka的日志处理过程。一、入口方法在kafkaServer.scala中的start方法中,有一个这样的调用:/* start log manager */logManager = c
2017-11-06 21:12:10 1205
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人