先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7
深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年最新HarmonyOS鸿蒙全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上鸿蒙开发知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
如果你需要这些资料，可以添加V获取：vip204888 （备注鸿蒙）
正文
文件数据结构
一个 MMKV 对象会生成两个文件，一个存储数据的主文件，一个 crc 校验文件，文件名规则为：
// 主文件名为 mmapedKVKey() 返回值， crc 校验文件名为 mmapedKVKey()返回值加上 .crc 后缀
string mmapedKVKey(const string &mmapID, const MMKVPath_t *rootPath) {
if (rootPath && g_rootDir != (*rootPath)) {
return md5(*rootPath + MMKV_PATH_SLASH + string2MMKVPath_t(mmapID));
}
return mmapID;
}
主文件
前四个字节记录了存储数据的总大小，紧接着保存每一个 key-value 对，由于使用了 protobuf 编码，为了便于读取 key、value 的数据，在保存具体数据前都先记录下其占用的字节数。由于 keyLength 和 valueLength 都为 int32 整数，因此直接按照 protobuf 编码规则读取即可，无需像 key、value 需要一个长度来确定值的结束边界。
±-------------±-----------±-----±-------------±-------±-----------±-----±--------------±------+
| 存储的数据大小 | keyLength1 | key1 | valueLength1 | value1 | keyLength2 | key2 | valueLength2 | value2 |
±-------------±-----------±-----±-------------±-------±-----------±-----±--------------±------+
CRC文件
CRC文件中保存的内容为以下结构体定义的数据结构，包括 crc32 校验和的值以及一堆辅助数据，用以验证文件的一致性。
struct MMKVMetaInfo {
uint32_t m_crcDigest = 0;
uint32_t m_version = MMKVVersionSequence;
uint32_t m_sequence = 0; // full write-back count
uint8_t m_vector[AES_KEY_LEN] = {};
uint32_t m_actualSize = 0;
// confirmed info: it’s been synced to file
struct {
uint32_t lastActualSize = 0;
uint32_t lastCRCDigest = 0;
uint32_t _reserved[16] = {};
} m_lastConfirmedMetaInfo;
}
数据初始化
MMKV 对象构造时会调用 loadFromFile 读取数据，将文件中的 key-value 对读取到一个 dict 中保存。dict 是一个 std::unordered_map<std::string, mmkv::KeyValueHolder> 结构，dict 的 key 即为保存的 key-value 对中的 key。并且通过 KeyValueHolder 来保存 key-value 对的内容。
// MiniPBCoder.cpp#decodeOneMap
auto block = [position, this](MMKVMap &dictionary) {
if (position) {
m_inputData->seek(position);
} else {
m_inputData->readInt32();
}
while (!m_inputData->isAtEnd()) {
KeyValueHolder kvHolder;
// 读取 key，保存 key 的 起始位置和size信息到 KeyValueHoder 中
const auto &key = m_inputData->readString(kvHolder);
if (key.length() > 0) {
// 读取 value，保存 value 的size信息到 KeyValueHolder，此时并不会将 value 解码出来
m_inputData->readData(kvHolder);
if (kvHolder.valueSize > 0) {
dictionary[key] = move(kvHolder);
} else {
auto itr = dictionary.find(key);
if (itr != dictionary.end()) {
dictionary.erase(itr);
}
}
}
}
};
// CodedInputData.cpp#readString
// 读取 key
string CodedInputData::readString(KeyValueHolder &kvHolder) {
kvHolder.offset = static_cast<uint32_t>(m_position);
int32_t size = this->readRawVarint32();
if (size < 0) {
throw length_error(“InvalidProtocolBuffer negativeSize”);
}
auto s_size = static_cast<size_t>(size);
if (s_size <= m_size - m_position) {
kvHolder.keySize = static_cast<uint16_t>(s_size);
auto ptr = m_ptr + m_position;
string result((char *) (m_ptr + m_position), s_size);
m_position += s_size;
return result;
} else {
throw out_of_range(“InvalidProtocolBuffer truncatedMessage”);
}
}
// CodedInputData.cpp#readData
// 读取 value
void CodedInputData::readData(KeyValueHolder &kvHolder) {
int32_t size = this->readRawVarint32();
if (size < 0) {
throw length_error(“InvalidProtocolBuffer negativeSize”);
}
auto s_size = static_cast<size_t>(size);
if (s_size <= m_size - m_position) {
kvHolder.computedKVSize = static_cast<uint16_t>(m_position - kvHolder.offset);
kvHolder.valueSize = static_cast<uint32_t>(s_size);
m_position += s_size;
} else {
throw out_of_range(“InvalidProtocolBuffer truncatedMessage”);
}
}
数据写入与读取
这里仅分析在 Android 平台的主流程逻辑，因此对于加密功能和在 iOS 设备上的逻辑不去关注。由于 MMKV 对于 value 支持多种类型格式，这里也主要通过类型为 int 和 string 的写入和读取逻辑来进行了解。
MMBuffer
MMKV 中定义的内存单元，用来更方便的进行一些操作而抽象的结构。对于占用内存小的数据，直接保存在栈中，而对于占用内存大的数据则保存在堆中。 判断占用内存的大小取决于 sizeof(MMBuffer) - offsetof(MMBuffer, paddedBuffer) 计算的值，其实也就是 paddedBuffer[10] 的大小。这里应该是考虑到对于基本数值类型进行 protobuf 编码后最多占用10个字节，因此使用这种方式来更高效的进行内存操作。 MMBuffer 中包含一个联合体，其中的两个结构体共用存储空间，在实际使用时只能使用其中的一个。在默认情况下，编译器会对 MMBuffer 进行内存对齐，添加了 7 个填充字节，以保证 size 和 ptr 成员都按照 8 字节对齐。而对于第二个结构体，由于其成员都是 1 字节大小，因此没有进行内存对齐，没有填充字节。其内存布局如下：
±-------------------±-----------------------±--------------±-------------+
| isNoCopy(1 byte) | padding(7 bytes) | size(8 bytes) | ptr(8 bytes) |
±-------------------±-----------------------±--------------±-------------+
±-------------------±---------------------------+
| paddedSize(1 byte) | paddedBuffer(10 bytes) |
±-------------------±---------------------------+
class MMBuffer {
enum MMBufferType : uint8_t {
MMBufferType_Small, // store small buffer in stack memory
MMBufferType_Normal, // store in heap memory
};
MMBufferType type;
union {
struct {
MMBufferCopyFlag isNoCopy;
size_t size;
void *ptr;
};
struct {
uint8_t paddedSize;
// make at least 10 bytes to hold all primitive types (negative int32, int64, double etc) on 32 bit device
// on 64 bit device it’s guaranteed larger than 10 bytes
uint8_t paddedBuffer[10];
};
};
static constexpr size_t SmallBufferSize() {
return sizeof(MMBuffer) - offsetof(MMBuffer, paddedBuffer);
}
public:
explicit MMBuffer(size_t length = 0);
MMBuffer(void *source, size_t length, MMBufferCopyFlag flag = MMBufferCopy);
MMBuffer(MMBuffer &&other) noexcept;
~MMBuffer();
bool isStoredOnStack() const { return (type == MMBufferType_Small); }
void *getPtr() const { return isStoredOnStack() ? (void *) paddedBuffer : ptr; }
size_t length() const { return isStoredOnStack() ? paddedSize : size; }
};
int类型数据写入
写入的 value 为 int 类型时，计算 value 通过 protobuf 编码需要占用多少个字节，并将其编码后的结果写入到分配的内存段中。
// MMKV.cpp#set
bool MMKV::set(int32_t value, MMKVKey_t key) {
if (isKeyEmpty(key)) {
return false;
}
// 根据 protobuf 编码规则，获取 value 通过 protobuf 编码需要占用几个字节
size_t size = pbInt32Size(value);
// 声明 MMBuffer，其为 MMKV 中定义的内存单元，存储了映射的指针和大小
MMBuffer data(size);
// 将 MMBuffer 的 ptr 与 CodedOutputData 关联在一起，
// 则 CodedOutputData 写入数据后，通过 MMBuffer 也能获取得到
CodedOutputData output(data.getPtr(), size);
// CodedOutputData 主要负责 protobuf 的编码逻辑，
output.writeInt32(value);
return setDataForKey(move(data), key);
}
setDataForKey
对 value 进行 protobuf 编码后，将数据写入到文件尾部，同时还需要更新 dic 中的内容，以便为后续快速读取数据服务。 查找 dic 中是否已存在要写入 key 相关的 key-value 对。
- 当 dic 中存在这个 key，直接使用 dic 中保存的 KeyValueHolder 使用。在
doAppendDataWithKey流程将 key 写入文件时复制 KeyValueHolder 指向的 key 数据块。这个分支走向决定了doAppendDataWithKey中isKeyEncoded为 true。 - 当 dic 中没有这个 key 时，
doAppendDataWithKey中isKeyEncoded为 false，在写入文件时需要写入 keyLength，再写入 key。
// MMKV_IO.cpp#setDataForKey
auto itr = m_dic->find(key);
//
if (itr != m_dic->end()) {
auto ret = appendDataWithKey(data, itr->second, isDataHolder);
if (!ret.first) {
return false;
}
itr->second = std::move(ret.second);
} else {
auto ret = appendDataWithKey(data, key, isDataHolder);
if (!ret.first) {
return false;
}
m_dic->emplace(key, std::move(ret.second));
}
appendDataWithKey
根据 setDataForKey 的逻辑分支，appendDataWithKey 也有两种逻辑，主要区别在于构造 key 的 MMBuffer 方式不一样。
- 当 dic 中存有相关 key，对应的 MMBuffer 将 protobuf 编码的 keyLength 计算在内
- 当 dic 中没有相关 key，对应的 MMBuffer 长度即为 key 的长度大小
// MMKV_IO.cpp#appendDataWithKey
// dic 中已有相关 key 的逻辑分支
KVHolderRet_t MMKV::appendDataWithKey(const MMBuffer &data, const KeyValueHolder &kvHolder, bool isDataHolder) {
SCOPED_LOCK(m_exclusiveProcessLock);
uint32_t keyLength = kvHolder.keySize;
// size needed to encode the key
size_t rawKeySize = keyLength + pbRawVarint32Size(keyLength);
//
// ensureMemorySize() might change kvHolder.offset, so have to do it early
{
auto valueLength = static_cast<uint32_t>(data.length());
if (isDataHolder) {
valueLength += pbRawVarint32Size(valueLength);
}
auto size = rawKeySize + valueLength + pbRawVarint32Size(valueLength);
// ensureMemorySize 确保有足够的空间大小以供这次写入，内部逻辑比较复杂，
// 这里简单记住当申请的 mmap 空间不够时会尝试扩容
bool hasEnoughSize = ensureMemorySize(size);
if (!hasEnoughSize) {
return make_pair(false, KeyValueHolder());
}
}
auto basePtr = (uint8_t *) m_file->getMemory() + Fixed32Size;
MMBuffer keyData(basePtr + kvHolder.offset, rawKeySize, MMBufferNoCopy);
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注鸿蒙）
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
Buffer keyData(basePtr + kvHolder.offset, rawKeySize, MMBufferNoCopy);
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注鸿蒙）
[外链图片转存中…(img-vf71X0Y6-1713309761103)]
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
49万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
