curve源码分析 chunkserver_raftlog

最新推荐文章于 2024-09-16 17:46:36 发布
最新推荐文章于 2024-09-16 17:46:36 发布
阅读量145 收藏
点赞数 2
分类专栏： curve源码分析 文章标签： curve c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/captain_djc/article/details/137597919
版权

源码路径
curve-release2.2\src\chunkserver\raftlog

1.curve_segment_log_storage.cpp
2.curve_segment.cpp

在curve_segment_log_storage.cpp文件中，定义了CurveSegmentLogStorage类及其相关方法。以下是该文件中函数的方法分析，采用代码注释的方式进行说明：

// StoreOptForCurveSegmentLogStorage方法，设置CurveSegmentLogStorage的选项
LogStorageOptions StoreOptForCurveSegmentLogStorage(LogStorageOptions options) {
    // 如果传入了walFilePool选项，保存该选项
    if (nullptr != options.walFilePool) {
        options_ = options;
    }
    // 返回保存的选项
    return options_;
}

// RegisterCurveSegmentLogStorageOrDie方法，注册CurveSegmentLogStorage到braft
void RegisterCurveSegmentLogStorageOrDie() {
    // 创建CurveSegmentLogStorage实例
    static CurveSegmentLogStorage logStorage;
    // 向braft注册该实例
    braft::log_storage_extension()->RegisterOrDie("curve", &logStorage);
}

// CurveSegmentLogStorage类的初始化方法
int CurveSegmentLogStorage::init(braft::ConfigurationManager* configuration_manager) {
    // 创建日志存储目录
    butil::FilePath dir_path(_path);
    if (!butil::CreateDirectoryAndGetError(dir_path, &e, braft::FLAGS_raft_create_parent_directories)) {
        // 如果创建目录失败，记录错误并返回
        LOG(ERROR) << "Fail to create " << dir_path.value << ": " << e;
        return -1;
    }

    // 根据系统支持选择校验和类型
    if (butil::crc32c::IsFastCrc32Supported()) {
        _checksum_type = CHECKSUM_CRC32;
        LOG_ONCE(INFO) << "Use crc32c as the checksum type of appending entries";
    } else {
        _checksum_type = CHECKSUM_MURMURHASH32;
        LOG_ONCE(INFO) << "Use murmurhash32 as the checksum type of appending entries";
    }

    // 加载元数据、列出段文件、加载段文件等初始化操作
    // ...
    // 如果目录为空，则设置_first_log_index为1，并保存元数据
    if (is_empty) {
        _first_log_index.store(1);
        _last_log_index.store(0);
        ret = save_meta(1);
    }
    return ret;  // 返回初始化结果
}

// 加载元数据的方法
int CurveSegmentLogStorage::load_meta() {
    // 从文件系统中加载元数据
    // ...
}

// 列出段文件的方法
int CurveSegmentLogStorage::list_segments(bool is_empty) {
    // 列出所有段文件，并恢复段元数据
    // ...
}

// 加载段文件的方法
int CurveSegmentLogStorage::load_segments(braft::ConfigurationManager* configuration_manager) {
    // 为每个段文件加载数据
    // ...
}

// 获取最后日志索引的方法
int64_t CurveSegmentLogStorage::last_log_index() {
    // 返回最后日志索引
    return _last_log_index.load(butil::memory_order_acquire);
}

// 获取日志条目的方法
braft::LogEntry* CurveSegmentLogStorage::get_entry(const int64_t index) {
    // 根据索引获取日志条目
    // ...
}

// 获取段的方法
int CurveSegmentLogStorage::get_segment(int64_t index, scoped_refptr<Segment>* ptr) {
    // 根据索引获取段
    // ...
}

// 获取任期的方法
int64_t CurveSegmentLogStorage::get_term(const int64_t index) {
    // 根据索引获取任期
    // ...
}

// 追加日志条目的方法
int CurveSegmentLogStorage::append_entry(const braft::LogEntry* entry) {
    // 将日志条目追加到打开的段中
    // ...
}

// 追加多个日志条目的方法
int CurveSegmentLogStorage::append_entries(const std::vector<braft::LogEntry>& entries) {
    // 追加一系列日志条目
    // ...
}

// 截断前缀的方法
int CurveSegmentLogStorage::truncate_prefix(const int64_t first_index_kept) {
    // 截断保留first_index_kept及之前的日志
    // ...
}

// 保存元数据的方法
int CurveSegmentLogStorage::save_meta(const int64_t log_index) {
    // 将元数据保存到文件系统中
    // ...
}

// 移除段的方法
void CurveSegmentLogStorage::pop_segments(const int64_t first_index_kept, std::vector<scoped_refptr<Segment>>* popped) {
    // 移除保留first_index_kept及之前的段
    // ...
}

// 重置日志存储的方法
int CurveSegmentLogStorage::reset(const int64_t next_log_index) {
    // 重置日志存储，移除所有段并设置新的日志索引
    // ...
}

// 列出所有文件的方法
void CurveSegmentLogStorage::list_files(std::vector<std::string>* seg_files) {
    // 列出所有段文件和元数据文件
    // ...
}

// 同步所有段的方法
void CurveSegmentLogStorage::sync() {
    // 同步所有段到磁盘
    // ...
}

// 创建新的日志存储实例的方法
braft::LogStorage* CurveSegmentLogStorage::new_instance(const std::string& uri) const {
    // 创建并返回一个新的CurveSegmentLogStorage实例
    // ...
}

// 获取打开的段的方法
scoped_refptr<Segment> CurveSegmentLogStorage::open_segment(size_t to_write) {
    // 打开或创建一个新的段用于写入
    // ...
}

// 获取日志存储状态的方法
LogStorageStatus CurveSegmentLogStorage::GetStatus() {
    // 返回当前存储状态
    // ...
}

CurveSegmentLogStorage类是日志存储的核心组件，它负责管理日志数据的存储、检索、追加和截断等操作。通过这些方法，CurveSegmentLogStorage类能够维护和管理日志数据的一致性和完整性，同时提供高效的数据访问和同步机制。

在curve_segment.cpp文件中，定义了CurveSegment类及其相关方法。以下是该文件中函数的方法分析，采用代码注释的方式进行说明：

// CurveSegment类的构造函数
CurveSegment::CurveSegment(const std::string& path, int64_t first_index,
                              int64_t last_index, ChecksumType checksum_type,
                              FilePool* walFilePool)
    : _path(path), 
      _first_index(first_index), 
      _last_index(last_index), 
      _checksum_type(checksum_type), 
      _walFilePool(walFilePool), 
      _fd(-1), 
      _direct_fd(-1), 
      _meta(bytes, 0) {  // 初始化元数据对象

    // 根据校验和类型初始化校验和函数
    switch (_checksum_type) {
        case CHECKSUM_MURMURHASH32:
            _get_checksum = &CurveSegment::get_checksum<CHECKSUM_MURMURHASH32>;
            _verify_checksum = &CurveSegment::verify_checksum<CHECKSUM_MURMURHASH32>;
            break;
        case CHECKSUM_CRC32:
            _get_checksum = &CurveSegment::get_checksum<CHECKSUM_CRC32>;
            _verify_checksum = &CurveSegment::verify_checksum<CHECKSUM_CRC32>;
            break;
        default:
            LOG(ERROR) << "Unknown checksum_type=" << _checksum_type;
            break;
    }
}

// 创建CurveSegment的方法
int CurveSegment::create() {
    // 创建一个新的CurveSegment，并初始化元数据页
    // ...
}

// CurveSegment类的析构函数
CurveSegment::~CurveSegment() {
    // 清理资源，关闭文件描述符
    // ...
}

// 加载CurveSegment的方法
int CurveSegment::load(braft::ConfigurationManager* configuration_manager) {
    // 打开CurveSegment文件，并加载元数据页和日志条目索引
    // ...
}

// 追加日志条目的方法
int CurveSegment::append(const braft::LogEntry* entry) {
    // 将日志条目追加到CurveSegment中
    // ...
}

// 更新元数据页的方法
int CurveSegment::_update_meta_page() {
    // 将更新后的元数据页写入到文件中
    // ...
}

// 获取日志条目的方法
braft::LogEntry* CurveSegment::get(const int64_t index) const {
    // 根据索引获取日志条目
    // ...
}

// 获取日志条目对应的任期的方法
int64_t CurveSegment::get_term(const int64_t index) const {
    // 根据索引获取日志条目的任期
    // ...
}

// 关闭CurveSegment的方法
int CurveSegment::close(bool will_sync) {
    // 关闭CurveSegment，并根据需要同步数据到磁盘
    // ...
}

// 同步CurveSegment的方法
int CurveSegment::sync(bool will_sync) {
    // 同步CurveSegment中的数据到磁盘
    // ...
}

// 删除CurveSegment的方法
int CurveSegment::unlink() {
    // 从文件系统中删除CurveSegment
    // ...
}

// 截断CurveSegment的方法
int CurveSegment::truncate(const int64_t last_index_kept) {
    // 截断CurveSegment，移除保留last_index_kept及之前的日志数据
    // ...
}

// 获取CurveSegment文件名的方法
std::string CurveSegment::file_name() {
    // 根据CurveSegment的状态返回对应的文件名
    // ...
}

// 私有方法，根据索引获取日志条目的元数据
int CurveSegment::_get_meta(int64_t index, LogMeta* meta) const {
    // 获取指定索引的日志条目的元数据
    // ...
}

CurveSegment类是日志存储的基本单元，它负责管理单个日志段的创建、加载、追加、同步和截断等操作。通过这些方法，CurveSegment类能够维护和管理日志数据的一致性和完整性，同时提供高效的数据访问和同步机制。类中还包括了一些私有辅助方法，用于内部处理和维护CurveSegment的状态。

captain_djc
关注
专栏目录
curve源码分析 chunkserver__raftsnapshot（函数调用流程分析）
captain_djc的博客
04-10 276
curve源码分析 chunkserver__raftsnapshot（函数调用流程分析）
【系列公开课】Curve核心团队深度解读：如何打造新一代超高性能分布式存储系统
NetEaseResearch的博客
10-28 6714
7月16日，网易数帆宣布开源性能1.84倍于Ceph的新一代高性能分布式存储系统Curve，3个多月低调开发时间过去之后，Curve项目又成熟了不少。那么，Curve又有哪些新的技术进展？Curve独特的核心架构设计如何实现？其远超其他开源存储的性能优化是怎么做到的？未来Curve社区将会如何发展？接下来的1个多月，Curve核心开发团队将带来精心准备的Curve 新一代分布式存储技术系列公开课（直播+回放），每周五晚为大家揭开Curve技术的奥妙及Curve社区的规划，敬请关注！ 课程概述 Cur
daelk-cryptography curve25519-dalek源码解析——之Field表示
mutourend的博客
07-11 389
https://github.com/dalek-cryptography/curve25519-dalek 1. Scalar结构 针对p<2^255的域filed，采用scalar以little-endian的数组形式来表示： /// The `Scalar` struct holds an integer \\(s < 2\^{255} \\) which /// represe...
curve源码分析 chunkserver_raftsnapshot
captain_djc的博客
04-10 1271
curve源码分析 chunkserver_raftsnapshot
chunkserver_tablet索引元数据结构.docx
09-18
Chunkserver 索引元数据结构 Chunkserver 索引元数据结构是 Chunkserver 上用于存储tablet信息的数据结构。该结构主要包括三个部分：索引信息数据结构、tablet 元素结构和序列化格式。 索引信息数据结构 索引...
开源分布式存储Curve ChunkServer CPU优化实践
热门推荐
NetEaseResearch的博客
12-15 1万+
Curve ChunkServer的CPU瓶颈问题 Curve是网易数帆开源的新一代分布式存储系统，具有高性能、高可用、高可靠的特点，可作为多种存储场景的底层存储，包括块存储、对象存储、云原生数据库、EC等。 对于分布式块存储系统来说，IOPS是最重要的一个性能指标。从Curve目前的性能测试情况看，读IOPS瓶颈在Client端——对于6个存储节点的集群，单个Client节点读IOPS接近30万，两个Client节点读IOPS接近60万。而Curve的写IOPS还有一定提升空间——对于6个存储节点的集
网易数帆开源分布式存储Curve核心组件之ChunkServer数据节点.pdf
12-13
介绍Curve的数据节点ChunkServer，包括： - ChunkServer整体架构，自顶向下介绍每个模块的功能。 - ChunkServer的注册和心跳。 - CopysetNode，介绍ChunkServer中的Copyset实例工作流程，与braft交互的方式（建议...
MooseFS分布式文件系统源码分析
02-24
它采用Master-ChunkServer-LogServer的三层架构。Master节点负责元数据管理，包括文件系统的目录结构、文件位置信息等；ChunkServer则存储实际的数据块，提供数据读写服务；而LogServer则用于记录系统操作日志，确保...
curve分布式存储系统-其他
06-11
ChunkServer是一个集群，通过Raft协议保持数据一致性，并通过MDS做负载均衡。单个节点失效时，会影响到这个节点上存储的所有Copyset。对于Copyset上的Leader节点，会中断服务，等待重新选举；对于Copyset上的...
C++ STL中sort函数
weixin_43349440的博客
09-15 367
刷题中经常遇到，用于各种元素排序，可以自定义排序方式，vector、deque适用。详细讲解：https://zhuanlan.zhihu.com/p/36274119。，为避免QuickSort快排的递归调用带来过大的额外负荷，就改用。一旦分段后的数据量小于某个门槛。STL的sort算法，
C语言 12 函数
天河有尽后为涯，星海无边前作岸。
09-13 1142
程序的入口点就是main函数，只需要将程序代码编写到主函数中就可以运行了，不过这个函数只是由我们来定义，而不是我们来调用。当然，除了主函数之外，一直在使用的printf那么，函数的具体定义是什么呢？函数是完成特定任务的独立程序代码单元。每次要做这个任务时，都要完完整整地将任务的每一行代码都写下来，如果程序中多处都需要执行这个任务，每个地方都完整地写一遍，实在是太臃肿了，有没有一种更好的办法能优化代码呢？
【C++】 —— string的使用
LH__1314的博客
09-16 1128
string类虽然不在STL的容器中，但string类十分重要，string类是对字符串的存储和相关操作。
CF C. Nikita and LCM
qq_74190237的博客
09-13 297
思维题.首先先对数组排序,考虑一种特殊情况,那就是如果数组最大值不能被其他数整除,这代表什么?代表其他数里面有某个质因子,最大值里面没有或者数量不管,所有最小公倍数都会大于最大值.那么其他情况的话,就可以确定所有的数都是最大数的因子,那么形成的最小公倍数也一定是最大数的因子,那么就可以枚举一下最大数的因子,就可以了.给长度为n的数组,求出最长的特殊子数组,如果子数组的最小公倍数不在原数组中,那么就是特殊的.
C++与QML的数据交互
qq_50679120的博客
09-11 552
这里没什么好说的，在C++中组合好json后，通过信号发送到qml中，qml中是可以解析json的。通过Q_PROPERTY属性，可以轻松地在QML中读取和修改数据，并将其更新到C++中，先创建一个类。在QML接收，直接通过data.can_id这样的形式去访问结构体中的元素。这两个也没什么好说的，在C++中直接发送信号就好了，在C++中声明并注册一个结构体。然后发送信号到QML中。
C++_map_set详解
最新发布
2302_77644537的博客
09-16 1009
set是按照一定次序存储元素的容器在set中，元素的value也标识它(value就是key，类型为T)，并且每个value必须是唯一的。set中的元素不能在容器中修改(元素总是const)，但是可以从容器中插入或删除它们。在内部，set中的元素总是按照其内部比较对象(类型比较)所指示的特定严格的排序准则（默认是小于）进行排序。set在底层是用二叉搜索树(红黑树)实现的。map是关联容器，它按照特定的次序(按照key来比较)存储由键值key和值value组合而成的元素。
C++函数重载
Jason_from_China的博客
09-13 358
概念： C++支持在同一作用域中出现同名函数,但是要求这些同名函数的形参不同,可以是参数个数不同或者 类型不同。这样C++函数调用就表现出了多态行为,使用更灵活。C语言是不支持同一作用域中出现同名函数的。
完全背包（C++）
lim6ere的博客
09-11 924
DP42 【模板】完全背包以上就是今天要讲的内容，本文仅仅详细介绍了。希望对大家的学习有所帮助，仅供参考 如有错误请大佬指点我会尽快去改正 欢迎大家来评论~~ 😘 😘 😘。
CCF201903_1
m0_67663419的博客
09-14 228
【代码】CCF201903_1。
网易数帆开源分布式存储Curve：ChunkServer详解与性能优化
《网易数帆开源分布式存储Curve核心组件之ChunkServer数据节点》是一篇深入解析分布式存储系统Curve的详细介绍文档，主要关注于Curve的Data Node组件——ChunkServer。ChunkServer在Curve架构中扮演着至关重要的角色...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值