博客专栏  >  云计算/大数据   >  kafka源码解析

kafka源码解析

基于kafka0.8.2版本的源码解析,从topic的创建,消息的发送,消息的获取等各方面解析kafka的工作原理

关注
95 已关注
20篇博文
  • kafka源码解析之十七消费者流程(客户端如何获取topic的数据)

    Kafka消费数据的角色分为普通消费者和高级消费者,其介绍如下: 16.1 普通消费者 特点:1)一个消息读取多次    2)在一个处理过程中只消费某个broker上的partition的部分消息 ...

    2016-04-11 19:53
    5918
  • kafka源码解析之十六生产者流程(客户端如何向topic发送数据)

    客户端向topic发送数据分为两种方式:1.异步,2同步。其配置为producer.type,如果为sync,则是同步发送;如果为async,则是异步发送。 客户端代码如下: import kaf...

    2016-04-11 19:48
    2517
  • kafka源码解析之十五客户端如何创建topic

    主要存在两种方式:即自动创建还是手动创建。当配置auto.create.topics.enable=true时,则如果kafka发现该topic不存在的话,会按默认配置自动创建topic。当配置aut...

    2016-04-11 14:30
    2891
  • kafka源码解析之十四TopicConfigManager

    当Kakfka的topic创建之后,需要中途修改该topic的属性的时候,可以通过在/brokers/config_changes上传配置信息,触发TopicConfigManager内部的监听函数来...

    2016-04-11 13:42
    652
  • kafka源码解析之十三KafkaHealthcheck

    主要是在zk的/brokers/[0...N] 路径上建立该Broker的信息,并且该节点是ZK中的Ephemeral Node,当此Broker离线的时候,zk上对应的节点也就消失了,那么其它Bro...

    2016-04-11 13:41
    704
  • kafka源码解析之十二KafkaController(下篇)

    12.6 KafkaController内部的listener KafkaControler(leader)通过在zk的不同目录建立各种listener来达到对topic的管理和维护,其在zk的...

    2016-04-11 09:56
    1825
  • kafka源码解析之十二KafkaController(中篇)

    12.3 KafkaController PartitionStateMachine 它实现了topic的分区状态切换功能,Partition存在的状态如下: 状态名 ...

    2016-04-11 09:29
    1321
  • kafka源码解析之十二KafkaController(上篇)

    KafkaController比较复杂,准备花上中下三篇来介绍,其主要的内容如下: 12.1 KafkaController成为leader的过程 12.2 kafkaController的初始化(l...

    2016-04-11 09:17
    1839
  • kafka源码解析之十一KafkaApis

    KafkaApis真正负责内部request的业务逻辑,kafka_2.10-0.8.2.0目前支持11种request请求,具体的request类别在Broker处理的request的来源中已经提到...

    2016-04-05 21:36
    2518
  • kafka源码解析之十OffsetManager

    OffsetManager主要提供对offset的保存和读取,kafka管理topic的偏移量有2种方式:1)zookeeper,即把偏移量提交至zk上;2)kafka,即把偏移量提交至kafka内部...

    2016-04-01 17:46
    2394
  • kafka源码解析之九ReplicaManager

    首先解释下2个名词: AR(assignreplicas):分配副本  ISR(in-sync replicas):在同步中的副本,即下图: Partition { ...

    2016-04-01 11:42
    1721
  • kafka源码解析之八LogManager

    8.1 kafka日志的组成 class LogManager(val logDirs: Array[File], val topicConfigs: Map[Str...

    2016-03-29 18:04
    979
  • kafka源码解析之七KafkaRequestHandlerPool

    KafkaRequestHandlerPool的逻辑比较简单,就是开启num.io.threads个KafkaRequestHandler,每个KafkaRequestHandler从RequestC...

    2016-03-26 16:24
    929
  • kafka源码解析之六SocketServer

    class SocketServer(val brokerId: Int, val host: String, val po...

    2016-03-26 15:40
    1149
  • kafka源码解析之五Broker处理的request的来源

    如下图所示: Broker共处理10种request,分别如下: ①ProducerRequest:生成者发送消息至KAFKA集群/或者消费者提交偏移量至KAFKA的log的请求 ②TopicMe...

    2016-03-24 15:29
    1132
  • kafka源码解析之四Broker的模块组成

    Broker主要由SocketServer(Socket服务层),KafkaRequestHandlerPool(请求转发层),Kafka api(业务逻辑层),Control(集群状态控制层),Ka...

    2016-03-24 14:14
    1162
  • kafka源码解析之三Broker的启动

    正常启动kafka的命令如下: 查看kafka-server-start.sh脚本: 查看Kafka.Kafka类: object Kafka extends Logging { def...

    2016-03-26 14:18
    1506
  • kafka源码解析之二kafka内部的专业术语

    kafka的组成 ● Broker 一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。 ● Topic 每条发布到Kafka...

    2016-03-23 14:29
    1498
  • kafka源码解析之一kafka诞生的背景

    Apache Kafka是由Apache软件基金会开发的一个开源消息系统项目,由Scala写成。Kafka最初是由LinkedIn开发(LinkedIn (领英) 创建于2002 年,致力于向全球职场...

    2016-03-22 20:25
    1738
  • kafka原理解析-《Learning Apache Kafka, 2nd Edition.pdf》

    最近准备写kafka源码解析,先预热下,上传篇关于kafka的介绍,下载地址: http://download.csdn.net/detail/wl044090432/9449275

    2016-03-01 14:05
    6076
img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部