快速且内存占用小的词向量查询库：LMDB Embeddings

快速且内存占用小的词向量查询库：LMDB Embeddings

lmdb-embeddings ThoughtRiver/lmdb-embeddings: LMDB-Embeddings 是一个用于高效存储和查询词嵌入向量的库，采用了 LMDB 数据库来存储词嵌入向量，具有高速，紧凑和易用的特点。 项目地址: https://gitcode.com/gh_mirrors/lm/lmdb-embeddings

项目基础介绍

LMDB Embeddings 是一个基于 Python 的开源项目，旨在提供一种快速查询词向量（嵌入）的方法，同时大幅减少内存的使用。该项目的核心是利用 Lightning Memory-Mapped Database (LMDB) 实现高效的数据访问和存储。主要编程语言为 Python。

项目核心功能

• 快速查询：通过 LMDB 的特性，预训练的词向量可以立即“预热”（无需加载时间），从而实现极快的查询速度。
• 低内存占用：相比传统的存储方式，如 gensim 或其他类似解决方案，LMDB Embeddings 可以将内存占用降到最低。例如，传统的 glove-840B 需要大约 2 分钟加载时间和 4GB 内存，而使用 LMDB 后，可以立即访问且仅需数 MB 内存。
• LRU 缓存：包含 LRU 缓存的读取器，能够缓存最近查询的 50,000 个词向量，避免重复查询数据库，从而进一步优化性能。
• 自定义序列化：默认使用 pickle 进行序列化，但也可以轻松使用其他序列化方法，如 msgpack。

项目最近更新的功能

• 支持 Raw 解码：最近的更新中，项目添加了对 Raw 解码的支持，以优化数据读取。
• 性能优化：持续的性能优化，确保在固态硬盘（SSD）上使用时，运行时的性能损失降至最低（大约 1% 的减慢）。

项目持续更新，不断优化性能和添加新功能，为开发者提供更加高效和便捷的词向量查询工具。

lmdb-embeddings ThoughtRiver/lmdb-embeddings: LMDB-Embeddings 是一个用于高效存储和查询词嵌入向量的库，采用了 LMDB 数据库来存储词嵌入向量，具有高速，紧凑和易用的特点。 项目地址: https://gitcode.com/gh_mirrors/lm/lmdb-embeddings