TFS分析（基于1.3.1） -- BlockId 的生成

TFS的官方文档里面提到：在TFS中，将大量的小文件(实际数据文件)合并成为一个大文件，这个大文件称为块(Block), 每个Block拥有在集群内唯一的编号(Block Id), Block Id在NameServer在创建Block的时候分配。
对此有如下疑问：
DataServer在初始化的时候就已经将所有的block全部建立出来了，nameServer在什么时候来通知DataServer来分配block呢。


我们先来看看DataServer初始化的时候会做了哪些事情：
1、通过BlockFileManager的format_block_file_system函数来初始化存储空间，将存储空间划分为多个block，同时建立相应的索引文件

int BlockFileManager::format_block_file_system(const SysParam::FileSystemParam& fs_param)
    {
............................................


      // 3. create super block file
      //该函数会在存储空间新建一个super索引文件，以后服务启动的时候会通过该文件加载DataServer里的所有Block信息
      ret = create_fs_super_blk();
      if (TFS_SUCCESS != ret)
        return ret;
............................................


      return TFS_SUCCESS;
    }

2、DataServer在上报心跳的时候，上报自身的存储信息已经已有的block信息。

//节点的状态信息，NameServer根据状态信息，选举合适的DataServer新建Block（待确定，还没有找到相关的实现代码）
struct DataServerStatInfo
    {
      uint64_t id_;
      int64_t use_capacity_;
      int64_t total_capacity_;
      int32_t current_load_;
      int32_t block_count_;
      int32_t last_update_time_;
      int32_t startup_time_;
      Throughput total_tp_;
      int32_t current_time_;
      DataServerLiveStatus status_;
    };
    

//用来标识该DataServer包含有哪些block
    typedef std::vector<BlockInfo> BLOCK_INFO_LIST

4、当Client调用Open时，NameServer会给Client选择一个blockId，供Client写入

int MetaManager::write_block_info(uint32_t& block_id, int32_t mode, uint32_t& lease_id, int32_t& version,
        VUINT64& ds_list)
    {
    ..............................................................
    
      //nameserver assign a new write block
      if ((block_id == 0)
          && (mode & BLOCK_CREATE))
      {
        VINT64 fail_ds;
        //选择一个合适的block id
        block_id = elect_write_block(fail_ds);
        if (block_id == 0)
        {
          TBSYS_LOG(ERROR, "elect write block faild...");
          return EXIT_NO_BLOCK;
        }
      }


      BlockChunkPtr ptr = meta_mgr_.get_block_chunk(block_id);


      ptr->mutex_.rdlock();


      BlockCollect* block_collect = ptr->find(block_id);


      // create block in slave nameserver.
      if ((mode & BLOCK_NEWBLK))
      {
        if (block_collect == NULL)
        {
          ptr->mutex_.unlock();
          //如果block id 不存在，则通知DataServer新建
          block_collect = add_new_block(block_id);
          if (block_collect == NULL)
          {
            TBSYS_LOG(ERROR, "add new block(%u) failed, dataserver not found", block_id);
            return EXIT_NO_DATASERVER;
          }
          ptr->mutex_.rdlock();
          TBSYS_LOG(DEBUG, "block(%u), not found meta data, add new(%p)", block_id, block_collect);
        }
       ............................................................
      }


......................................................................
      return TFS_SUCCESS;
    }

    

    //通知DataServer新建一个block
     BlockCollect* MetaManager::add_new_block(uint32_t& block_id, const uint64_t ds_id)
    {
.....................................................................
      for (uint32_t i = 0; i < elect_ds_list.size(); ++i)
      {
        TBSYS_LOG(DEBUG, "dataserver(%s)", tbsys::CNetUtil::addrToString(elect_ds_list[i]).c_str());
        NewBlockMessage nbmsg;
        nbmsg.add_new_id(new_block_id);
        //给DataServer发送NewBlockMessage消息，通知DataServer新建Block（阻塞模式）
        if (send_message_to_server(elect_ds_list[i], &nbmsg, NULL) == TFS_SUCCESS)
        {
          add_success_ds_list.push_back(elect_ds_list[i]);
          TBSYS_LOG(INFO, "add block:%u on server:%s succeed", new_block_id, tbsys::CNetUtil::addrToString(
                elect_ds_list[i]).c_str());
        }
        else
        {
          TBSYS_LOG(INFO, "add block:%u on server:%s failed", new_block_id, tbsys::CNetUtil::addrToString(
                elect_ds_list[i]).c_str());
        }
      }
......................................................


      return block_collect;
    }

    
5、当DataServer收到NewBlockMessage消息，则新建BlockId,同时缓存，并持久化到硬盘（源码步骤很详细，不细说明）

   int BlockFileManager::new_block(const uint32_t logic_block_id, uint32_t& physical_block_id,
        const BlockType block_type)
    {
    }