pyLSHash：Python 100行代码实现LSH(Locality Sensitive Hashing)算法

最新推荐文章于 2024-06-26 21:53:02 发布

guofei9987

最新推荐文章于 2024-06-26 21:53:02 发布

阅读量874

点赞数 1

分类专栏： Python 算法深度优先搜索文章标签： python 数据库开发语言 LSH

本文链接：https://blog.csdn.net/guofei9987/article/details/126108635

版权

算法同时被 3 个专栏收录

8 篇文章 0 订阅

订阅专栏

Python

7 篇文章 0 订阅

订阅专栏

深度优先搜索

3 篇文章 0 订阅

订阅专栏

本文介绍了如何在PyLSHash项目中自定义距离函数，如L1范数，以及如何为LSH使用不同数据库（如Redis），并展示了如何创建自定义存储类。通过实例演示了如何创建和查询向量索引，以及如何在内存或特定数据库中操作。

摘要由CSDN通过智能技术生成

项目特点：

支持自定义距离函数
支持很多种数据库，例如 redis、MongoDB等

项目地址：https://github.com/guofei9987/pyLSHash

安装

$ pip install pyLSHash

使用

from pyLSHash import LSHash

lsh = LSHash(hash_size=6, input_dim=8)
lsh.index([1, 2, 3, 4, 5, 6, 7, 8])
lsh.index([2, 3, 4, 5, 6, 7, 8, 9])
# attach extra_data
lsh.index([2, 3, 4, 5, 6, 7, 8, 9], extra_data="可以随意插入额外信息")
lsh.index([10, 12, 99, 1, 5, 31, 2, 3])

# 返回最近的一批向量，并按照距离排序
res = lsh.query([1, 2, 3, 4, 5, 6, 7, 7])
[((1, 2, 3, 4, 5, 6, 7, 8), 1.0), ((2, 3, 4, 5, 6, 7, 8, 9), 11)]

如何自定义距离函数？

# 定义你自己的距离函数
def l1norm_dist(x, y):
    return sum(abs(x - y))

# 然后获取最近的一批向量
res2 = lsh.query([1, 2, 3, 4, 5, 6, 7, 7], dist_func=l1norm_dist)

print(res2)

如何自定义数据库？

step1：用数据库建立一个类（这里以Redis为例）

from pyLSHash import LSHash
from pyLSHash.storage import StorageBase
import redis
import json


class MyStorage(StorageBase):
    def __init__(self):
        self.storage = redis.StrictRedis(host='localhost', port=6379, decode_responses=True)

    def keys(self, pattern="*"):
        return self.storage.keys(pattern)

    def set_val(self, key, val):
        self.storage.set(key, val)

    def get_val(self, key):
        return self.storage.get(key)

    def append_val(self, key, val):
        self.storage.rpush(key, json.dumps(val))

    def get_list(self, key):
        res_list = [json.loads(val) for val in self.storage.lrange(key, 0, -1)]
        return tuple((tuple(item[0]), item[1]) for item in res_list)

    def clear(self):
        for key in self.storage.keys():
            self.storage.delete(key)

step2：使用自定义的数据库，来实现LSH

lsh = LSHash(hash_size=6, input_dim=8
             , storage_instance=MyStorage())

lsh.index([1, 2, 3, 4, 5, 6, 7, 8])
lsh.index([2, 3, 4, 5, 6, 7, 8, 9])
lsh.index([2, 3, 4, 5, 6, 7, 8, 9], extra_data="some vector info")
lsh.index([10, 12, 99, 1, 5, 31, 2, 3])
lsh.index([10, 12, 99, 1, 5, 31, 2, 3])

res = lsh.query([1, 2, 3, 4, 5, 6, 7, 7])

当然，如果不定义数据库，就会在内存中运行啦。