MMKV数据存储组件的使用介绍
.
介绍
MMKV 是微信开源的基于 mmap 内存映射的 key-value 组件,底层序列化/反序列化使用 protobuf 实现,性能高,稳定性强。已移植到
Android
/macOS
/Win32
/POSIX
平台,一并开源。
.
优点:
数据加密 : 在 Android 环境里,数据加密是非常必须的,SP实际上是把键值对放到本地文件中进行存储。如果要保证数据安全需要自己加密,MMKV 使用了 AES CFB-128 算法来加密/解密。
多进程共享 : 系统自带的 SharedPreferences 对多进程的支持不好。现有基于 ContentProvider 封装的实现,虽然多进程是支持了,但是性能低下,经常导致 ANR。考虑到 mmap 共享内存本质上是多进程共享的,MMKV 在这个基础上,深入挖掘了 Android 系统的能力,提供了可能是业界最高效的多进程数据共享组件。
匿名内存 : 在多进程共享的基础上,考虑到某些敏感数据(例如密码)需要进程间共享,但是不方便落地存储到文件上,直接用 mmap 不合适。而Android 系统提供了 Ashmem 匿名共享内存的能力,它在进程退出后就会消失,不会落地到文件上,非常适合这个场景。MMKV 基于此也提供了 Ashmem(匿名共享内存) MMKV 的功能。
效率更高 : MMKV 使用protobuf进行序列化和反序列化,比起SP的xml存放方式,更加高效。
支持从 SP迁移 : 如果你之前项目里面都是使用SP,现在想改为使用MMKV,只需几行代码即可将之前的SP实现迁移到MMKV。
原理
MMKV 本质上是将文件 mmap 到内存块中,将新增的 key-value 统统 append 到内存中;到达边界后,进行重整回写以腾出空间,空间还是不够的话,就 double 内存空间;对于内存文件中可能存在的重复键值,MMKV 只选用最后写入的作为有效键值。
核心过程:
- 内存准备
通过
mmap
内存映射文件,提供一段可供随时写入的内存块,App 只管往里面写数据,由操作系统负责将内存回写到文件,不必担心 crash 导致数据丢失。
- 数据组织
数据序列化方面我们选用
protobuf
协议,pb 在性能和空间占用上都有不错的表现。
- 写入优化(重点)
考虑到主要使用场景是频繁地进行写入更新,我们需要有增量更新的能力。我们考虑将增量
kv
对象序列化后,append
到内存末尾。
- 空间增长(重点)
使用 append 实现增量更新带来了一个新的问题,就是不断
append
的话,文件大小会增长得不可控。我们需要在性能和空间上做个折中。
- 数据有效性
考虑到文件系统、操作系统都有一定的不稳定性,我们另外增加了
crc
校验,对无效数据进行甄别。在 iOS 微信现网环境上,我们观察到有平均约 70万日次的数据校验不通过。
.
支持的数据类型
1. 支持以下 Java 语言基础类型:
boolean
、int
、long
、float
、double
、byte[]
2. 支持以下 Java 类和容器:
String
、Set<String>
- 任何实现了
Parcelable
(序列化)的类型
.
.
MMKV简单使用
.
添加 MMKV 的依赖
在 build.gradle
文件里添加:
dependencies {
implementation 'com.tencent:mmkv:1.2.7'
}
在Application里面初始化MMKV
public void onCreate() {
super.onCreate();
//初始化MMKV组件
String rootDir = MMKV.initialize(this);
//打印MMKV文件的存放根目录(可以不写)
System.out.println("mmkv root: " + rootDir);
}
.
MMKV组件的CRUD(增删改查) 操作
MMKV 提供一个全局的实例,可以通过这个实例来使用里面的API,完成相关的操作
.
1. 添加数据
//获取MMKV的实例对象
MMKV kv = MMKV.defaultMMKV();
//向MMKV中添加Boolean类型的数据
kv.encode("bool", true);
System.out.println("bool: " + kv.decodeBool("bool"));
//向MMKV中添加Int类型的数据
kv.encode("int", Integer.MIN_VALUE);
System.out.println("int: " + kv.decodeInt("int"));
//向MMKV中添加Long类型的数据
kv.encode("long", Long.MAX_VALUE);
System.out.println("long: " + kv.decodeLong("long"));
//向MMKV中添加Dloat类型的数据
kv.encode("float", -3.14f);
System.out.println("float: " + kv.decodeFloat("float"));
//向MMKV中添加Double类型的数据
kv.encode("double", Double.MIN_VALUE);
System.out.println("double: " + kv.decodeDouble("double"));
//向MMKV中添加String类型的数据
kv.encode("string", "Hello from mmkv");
System.out.println("string: " + kv.decodeString("string"));
//向MMKV中添加Byte类型的数据
byte[] bytes = {'m', 'm', 'k', 'v'};
kv.encode("bytes", bytes);
System.out.println("bytes: " + new String(kv.decodeBytes("bytes")));
.
如果不同业务需要区别存储,也可以单独创建自己的实例
MMKV mmkv = MMKV.mmkvWithID("MyID");
mmkv.encode("String", "萝莉");
.
如果业务需要多进程访问,那么在初始化的时候加上标志位 MMKV.MULTI_PROCESS_MODE
MMKV mmkv = MMKV.mmkvWithID("InterProcessKV", MMKV.MULTI_PROCESS_MODE);
mmkv.encode("String", "萝莉");
注意:
MMKV 的写入逻是: 当我们覆盖某个值的时候,它并不会立即删除前面的值,会保留,然后每个key
和value
有存储限制,当触发存储限制的时候,才会执行删除,这样即使我们频繁的覆盖,也不会引起太多的性能损耗
.
2. 删除数据
//获取MMKV的实例对象
MMKV kv = MMKV.defaultMMKV();
//根据key来删除某个数据
kv.removeValueForKey("bool");
System.out.println("bool: " + kv.decodeBool("bool"));
//根据多个key来删除多个数据
kv.removeValuesForKeys(new String[]{"int", "long"});
System.out.println("allKeys: " + Arrays.toString(kv.allKeys()));
.
3. 修改数据
使用同一个 key
重新添加一遍数据
.
4. 查找数据
根据 key
来查找对应的 value
//获取MMKV的实例对象
MMKV kv = MMKV.defaultMMKV();
boolean hasBool = kv.containsKey("bool");
.
.
从 SharedPreferences 迁移
MMKV 提供了
importFromSharedPreferences()
函数,可以比较方便地迁移数据过来。MMKV 还额外实现了一遍
SharedPreferences
、SharedPreferences.Editor
这两个 interface,在迁移的时候只需两三行代码即可,其他 CRUD 操作代码都不用改。
//获取MMKV的实例对象
MMKV preferences = MMKV.mmkvWithID("myData");
//迁移旧数据
SharedPreferences old_man = getSharedPreferences("myData", MODE_PRIVATE);
preferences.importFromSharedPreferences(old_man);
old_man.edit().clear().commit();
.
.
MMKV 高级功能介绍
.
1. 加密
MMKV 默认明文存储所有
key-value
,依赖 Android 系统的沙盒机制保证文件加密。如果你担心信息泄露,你可以选择加密 MMKV
String cryptKey = "My-Encrypt-Key";
MMKV kv = MMKV.mmkvWithID("MyID", MMKV.SINGLE_PROCESS_MODE, cryptKey);
你可以更改密钥,也可以将一个加密 MMKV 改成明文,或者反过来
// 未加密的实例
MMKV kv = MMKV.mmkvWithID("MyID", MMKV.SINGLE_PROCESS_MODE, null);
//从未加密变为加密
kv.reKey("Key_seq_1");
//改变加密密钥
kv.reKey("Key_seq_2");
//从加密变为未加密
kv.reKey(null);
.
2. 自定义根目录
MMKV 默认把文件存放在
$(FilesDir)/mmkv/
目录。你可以在Application中自定义根目录
//文件路径
String dir = getFilesDir().getAbsolutePath() + "/mmkv_2";
//设置文件路径
String rootDir = MMKV.initialize(dir);
Log.i("MMKV", "mmkv root: " + rootDir);
甚至支持自定义某个文件的目录
String relativePath = getFilesDir().getAbsolutePath() + "/mmkv_3";
MMKV kv = MMKV.mmkvWithID("MyMMKVData", relativePath);
注意
官方推荐将 MMKV 文件存储在你 App 的私有路径内部,不要存储在 SD card。如果你一定要这样做,你应该遵循 Android 的 scoped storage 指引
.
3. 数据恢复
在 crc 校验失败,或者文件长度不对的时候,MMKV 默认会丢弃所有数据。你可以让 MMKV 恢复数据。
实现MMKVHandler接口
@Override
public MMKVRecoverStrategic onMMKVCRCCheckFail(String mmapID) {
return MMKVRecoverStrategic.OnErrorRecover;
}
@Override
public MMKVRecoverStrategic onMMKVFileLengthError(String mmapID) {
return MMKVRecoverStrategic.OnErrorRecover;
}
注意
修复率无法保证,而且可能修复出奇怪的 key-value。
.
4. Native Buffer(本地缓冲)
产生的问题:
当从 MMKV 取一个
String
或者byte[]
的时候,会有一次从 native 到 JVM 的内存拷贝。如果这个值立即传递到另一个 native 库(JNI),又会有一次从 JVM 到 native 的内存拷贝。当这个值比较大的时候,整个过程会非常浪费。
解决方法:
Native Buffer 就是为了解决这个问题
int sizeNeeded = kv.getValueActualSize("bytes");
//创建本地缓存对象
NativeBuffer nativeBuffer = MMKV.createNativeBuffer(sizeNeeded);
if (nativeBuffer != null) {
int size = kv.writeValueToNativeBuffer("bytes", nativeBuffer);
Log.i("MMKV", "size Needed = " + sizeNeeded + " written size = " + size);
// 将nativeBuffer传递给另一个本地库
// ...
// 完成后销毁
MMKV.destroyNativeBuffer(nativeBuffer);
}
5. 日志
MMKV 默认将日志打印到 logcat,不便于对线上问题进行定位和解决。你可以在 App 启动时接收转发 MMKV 的日志。
实现MMKVHandler接口,添加类似下面的代码:
@Override
public boolean wantLogRedirecting() {
return true;
}
@Override
public void mmkvLog(MMKVLogLevel level, String file, int line, String func, String message) {
String log = "<" + file + ":" + line + "::" + func + "> " + message;
switch (level) {
case LevelDebug:
//Log.d("redirect logging MMKV", log);
break;
case LevelInfo:
//Log.i("redirect logging MMKV", log);
break;
case LevelWarning:
//Log.w("redirect logging MMKV", log);
break;
case LevelError:
//Log.e("redirect logging MMKV", log);
break;
case LevelNone:
//Log.e("redirect logging MMKV", log);
break;
}
}
.
.