LevelDB源码解析(六)

LevelDB(六)

主要流程

Option构造流程：

​ --> BytewiseComparator位比较器、Env

1. BytewiseComparatorImpl比较器的单例构造
2. WindowsEnv
   1. background_work_mutex_==port::Mutex、background_work_cv_==port::CondVar初始化
   2. Limiter初始化：最大限制和可请求资源数都设置为1000
   3. 开启线程设为false：started_background_thread_=false
3. 设置压缩器类型：kSnappyCompression

DB::Open流程：

1. DBImpl：参数：Option、数据库名

   1. Env==Option中的Env

   2. 比较器：InternalKeyComparator = BytewiseComparator

   3. InternalFilterPolicy持有的FilterPolicy=null

   4. Options初始化

      1. 比较器：InternalKeyComparator = BytewiseComparator
      2. 过滤器：nullptr
      3. Logger日志
         1. 创建目录：数据库名
         2. 将"testdb/LOG" --> “testdb/LOG.old”
         3. 打开dbname + "/LOG"文件，创建Logger日志对象
      4. 新建缓存Cache
         1. ShardedLRUCache 1*2^24 = 2MB
            1. last_id_ = 0
            2. 每一个的长度为62
            3. LRUCache： capacity_(0), usage_(0)
            4. 自定义的哈希表HandleTablelength_(0), elems_(0) :新建长度为4的List

   5. owns_info_log_ = true

   6. owns_cache_ = true

   7. dbname_=dbname

   8. TableCache表缓存：参数 dbname、Options、表缓存大小1000-10=990

      1. env_ = options.env
      2. dbname_=dbname
      3. options_ = options
      4. cache_ = ShardedLRUCache 990
         1. last_id_ = 0
         2. LRUCache： capacity_(0), usage_(0)
         3. 自定义的哈希表HandleTablelength_(0), elems_(0) :新建长度为4的List

   9. db_lock_(nullptr),
      shutting_down_(false),
      background_work_finished_signal_(&mutex_),
      mem_(nullptr),
      imm_(nullptr),
      has_imm_(false),
      logfile_(nullptr),
      logfile_number_(0),
      log_(nullptr),
      seed_(0),
      

   10. WriteBatch批量写，分配长度为12的字符串

   11. 成员变量，SnapshotList，head_(0)

       成员变量SnapshotImpl，参数：sequence_number = 0

   12. VersionSet参数：dbname_ 、options_ 、table_cache_990表缓存、internal_comparator_比较器

       env_(options->env),
       dbname_(dbname),
       options_(options),
       table_cache_(table_cache),
       icmp_(BytewiseComparator),
       
       next_file_number_(2),
       manifest_file_number_(0), 
       last_sequence_(0),
       log_number_(0),
       prev_log_number_(0),
       descriptor_file_(nullptr),
       descriptor_log_(nullptr),
       // 成员变量
       // 实例化Version
       dummy_versions_(this),
           vset_(vset),
           next_(this),
           prev_(this),
           refs_(0),
           file_to_compact_(nullptr),
           file_to_compact_level_(-1),
           compaction_score_(-1),
           compaction_level_(-1)
       
       current_(nullptr)
       

       AppendVersion新建一个Version加入到当前的版本控制链表中–new Version参数：VersionSet==this

       vset_(vset),
       next_(this),
       prev_(this),
       refs_(0),
       file_to_compact_(nullptr),
       file_to_compact_level_(-1),
       compaction_score_(-1),
       compaction_level_(-1)
       

   13. CompactionStats，micros(0), bytes_read(0), bytes_written(0)

2. DBImpl impl->Recover恢复日志

   1. 创建目录dbname_

   2. 使用Env，锁住"testdb/LOCK"文件

   3. 如果"testdb/CURRENT"文件不存在，配置中允许创建，创建文件，DBImpl::NewDB()：新建一个manifest文件MANIFEST-000001其中写入 user_comparator()->Name() SetLogNumber(0) SetNextFile(2) SetLastSequence(0)

      将MANIFEST-000001定入CURRENT中

   4. 否则返回错误

   5. versions_->Recover

      1. 读取CURRENT文件（MANIFEST文件名），将结果写入current = “testdb/MANIFEST-000001”

         dscname = “testdb/MANIFEST-000001”

      2. Builder，参数this，Version

         1. vset_(vset), base_(base)
         2. 创建7层的set，初始化FileMetaData没有数据

      3. 读"testdb/MANIFEST-000001"文件Reader，中的VersionEdit

         file_(file),
         reporter_(reporter),
         checksum_(checksum),
         backing_store_(new char[kBlockSize]),
         buffer_(),
         eof_(false),
         last_record_offset_(0),
         end_of_buffer_offset_(0),
         initial_offset_(initial_offset),
         resyncing_(initial_offset > 0)
         

      4. 生成新版本，并计算下一次待压缩的文件，插入Version更新current指针

   6. 读取文件名env_->GetChildren

      [2] = “CURRENT”

      [3] = “LOCK”

      [4] = “LOG”

      [5] = “MANIFEST-000001”

   7. 获取所有的在线的sst文件 遍历目录下的文件

      sst文件和目录下的文件相同的全部删除

   8. 排序 恢复memtable日志

3. 设置日志参数，新建MemTable、log::Writer(最新的日志文件)

4. 将读到的VersionEdit进行更新LogAndApply

5. 删除无用的文件 和 进行可能的压缩

DB::Put流程：

1. WriteBatch::Put(key, value)
2. DBImpl::Write，参数WriteOptions、WriteBatch
   1. Writer记录WriteBatch
   2. 插入批量写的队列writers_，writers_.push_back(&w)
   3. MakeRoomForWrite写到MemTable中
   4. BuildBatchGroup批量写入数据
   5. 写入日志
   6. 将mem_写入write_batch
   7. 将写入的Writer从writers_中弹出

DB::Get==DBImpl::Get流程：

1. 没有快照，设置快照序号、MemTable、ImmemTable、Version
2. LookupKey，参数：user_key、Version number
3. 查找Memtable，mem->Get，参数：LookupKey，value值的保存、状态
   1. 跳表迭代器，查找大于等于key的节点list_->FindGreaterOrEqual
   2. 保存数据