kafka partition在机器磁盘间的分布(源码分析系列小文)

      前言:一个topic可以有很多个partition,而这些partition在整个集群中可以直观地看成一个二维坐标系，横轴代表集群中的不同机器，纵轴代表同一台机器上不同磁盘目录。
     上一篇文章<非jvm语言如何定制kafka api>分析了partition如何在机器间分配,相当于我们已知横轴，那么我们怎么理解纵轴呢？也就是上一篇文章末尾说的剩下的事情交给kafka内部处理，这一节我们就来分析下kafka内部是如何处理。
    首先看下PartitionStateMachine(分区状态机)的registerTopicChangeListener函数：zkUtils.zkClient.subscribeChildChanges(BrokerTopicsPath,topicChangeListener)，BrokerTopicsPath就是topic的存放路径，也就是说这里调用topicChangeListener来监听着zookeeper中topic路径的变化。
    再来看看TopicChangeListener的处理逻辑，TopicChangeListener里先对topic进行验证，然后在zookeeper中为每个partition注册一个PartitionModificationsListener监听数据变化，然后就是调用分区状态机和副本状态机处理新partition和新副本，我们再来看看分区状态机的handleStateChanges处理逻辑，里面先遍历partitions进行初始化，initializeLeaderAndIsrForPartition包括parition leader选取、partition的state写入zookeeper和新增request（addLeaderAndIsrRequestForBrokers）到brokerRequestBatch中，最后通过controller.sendRequest把ApiKeys.LEADER_AND_ISR请求发送到leader broker上。
    另一边则通过KafkaRequestHandler调用KafkaApis的handle方法处理各种类型的request,这些request类型包括发数据、读数据、元数据读取、offset读取、offset提交等，我们具体看ApiKeys.LEADER_AND_ISR最终在broker的对数据盘的处理，LogManager.scala的createLog具体代码如下：
 
  def createLog(topicAndPartition: TopicAndPartition, config: LogConfig): Log = {
    logCreationOrDeletionLock synchronized {
      var log = logs.get(topicAndPartition)
      
      // check if the log has already been created in another thread
      if(log != null)
        return log
      
      // if not, create it
      val dataDir = nextLogDir()
      val dir = new File(dataDir, topicAndPartition.topic + "-" + topicAndPartition.partition)
      dir.mkdirs()
      log = new Log(dir,
                    config,
                    recoveryPoint = 0L,
                    scheduler,
                    time)
      logs.put(topicAndPartition, log)
      info("Created log for partition [%s,%d] in %s with properties {%s}."
           .format(topicAndPartition.topic,
                   topicAndPartition.partition,
                   dataDir.getAbsolutePath,
                   {import JavaConversions._; config.originals.mkString(", ")}))
      log
    }
  }
  private def nextLogDir(): File = {
    if(logDirs.size == 1) {
      logDirs(0)
    } else {
      // count the number of logs in each parent directory (including 0 for empty directories
      val logCounts = allLogs.groupBy(_.dir.getParent).mapValues(_.size)
      val zeros = logDirs.map(dir => (dir.getPath, 0)).toMap
      var dirCounts = (zeros ++ logCounts).toBuffer
    
      // choose the directory with the least logs in it
      val leastLoaded = dirCounts.sortBy(_._2).head
      new File(leastLoaded._1)
    }
  }
    上面两个函数就是partition在磁盘中实际做的事情，相信大家在这里都会一眼看出这些代码逻辑，没错就是非常简单的逻辑。新的partition到来先去查找磁盘目录nextLogDir，而查找的逻辑就是寻找磁盘目录中partition segment目录数最少的磁盘或者当目录数相同情况下取排序后的第一个磁盘，因此在一般在使用过程中我们会发现kafka机器中的所有已分配磁盘的partition segment目录数基本相差不大。
    总的来说纵轴上kafka内部所做的事情就是topic listener监听zookeeper路径的变化然后构建request向broker发请求，KafkaApis负责接收请求、在磁盘中创建数据目录并返回结果。
  以上就是kafka partition在机器磁盘间的分布分析，如有分析错误请批评指出。