langchain+chromdb如何使用余弦查询和相似度

作者在工作中遇到问题,如何将langchain和chromdb返回的无限距离相似度转换为0-1的范围,以便于丢弃评分低的召回结果。他们找到了解决方案,涉及到数据库配置和使用HuggingFaceEmbeddings进行归一化处理。
摘要由CSDN通过智能技术生成

        最近工作中遇到一个问题,用langchain+chromdb做向量召回的时候,发现返回的distance取值是0~正无穷,值越小代表相似度越高。现在想要将相似度变成0~1之间, 值越接近1相关度越高,进而通过相似度的值把评分低的召回抛弃掉,也就是常说的归一.。百度很多地方也没有解决, 只好去翻看langchain的文档和chromdb的官网。 

        闲话少说,上代码。

   

 # 持久化数据库并且关闭匿名化遥测数据
 client_settings = chromadb.config.Settings(anonymized_telemetry=False, is_persistent=True)
 # 向量模型设置cpu模式
 emb_fun = HuggingFaceEmbeddings(model_name= "GanymedeNil/text2vec-large-chinese", 
           model_kwargs={'device': "cpu"})
  """
  collection_name : 集合名称
  embedding_function: 向量模型,可以带着地址
  persist_directory 数据库地址
  client_settings 链接配置: 这里持久化数据库并且关闭匿名化遥测数据
  collection_metadata 集合配置: 这里指定了相似度匹配算法
  """
  db = Chroma(collection_name=collection_name, embedding_function=emb_fun,
                    persist_directory=persist_directory, client_settings=client_settings,
                    collection_metadata={"hnsw:space": "cosine"})
   # 查询归一化的距离
    r = db.similarity_search_with_relevance_scores(query=question, k=k, filter=_filter)
   # 相似度评分
   score = r[1]

   难者不会,会者不难,好在之前看过chromdb官网,不然被坑死。

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值