推荐：简洁高效的分布式键值存储系统 —— minikeyvalue

推荐：简洁高效的分布式键值存储系统 —— minikeyvalue

项目地址:https://gitcode.com/geohot/minikeyvalue

1、项目介绍

minikeyvalue 是一款轻量级的分布式键值存储系统，代码量约1000行，设计目标是简化复杂的分布式文件系统。它支持数据复制、多机器部署以及每个机器上的多个驱动器。特别适合存储1MB至1GB大小的值。该项目由 comma.ai 在生产环境中使用，并受到 SeaweedFS 的启发，但保留了简单易用的特点。

2、项目技术分析

minikeyvalue 的核心在于使用标准的 nginx 作为卷服务器，将复杂性降至最低。其数据存储在文件系统中，索引则通过 LevelDB 进行管理。索引可以在必要时通过 rebuild 命令重建，而卷（Volume）可以通过 rebalance 进行添加或移除，以适应集群规模的变化。

API 设计简单直接，包括：

• GET /key：返回302重定向到存储该键的 nginx 服务器。
• PUT /key：阻塞式写入，201 表示成功，否则可能未写入。
• DELETE /key：阻塞式删除，204 表示已删除，其他情况可能未删除。

此外，还支持部分 S3 请求，兼容一些 S3 库。

3、项目及技术应用场景

minikeyvalue 适用于以下场景：

• 对于需要快速存取大量中等大小文件的应用来说，它是一个理想选择。
• 需要灵活扩展和动态调整存储资源的云服务环境。
• 研发测试环境，用于模拟简单的分布式存储系统行为。

4、项目特点

• 简洁明了：即使是初学者也能较快理解源码，便于二次开发和维护。
• 易于扩展：只需增加或减少卷服务器，即可实现水平扩展。
• 灵活的API：兼容基本的HTTP操作和部分S3请求。
• 强大的性能：在基准测试中，非存在的键查询速度可达116K+ req/sec，且在实际应用中的读写性能也相当出色。
• 数据安全：支持数据复制，可以设置不同的副本数量，确保数据可靠性。

如果你想体验一个既简单又实用的分布式键值存储系统，不妨尝试 minikeyvalue。它不仅提供了基础的数据存储功能，还具备可扩展性和灵活性，能轻松应对各种存储需求。立即安装并开始你的分布式存储之旅吧！

项目地址:https://gitcode.com/geohot/minikeyvalue