LLM
文章平均质量分 60
撩到阿加西的胖
沉迷自然语言处理的程序媛。
展开
-
【RAG】RAG-fusion
通常,RRF 用于混合词汇和向量结果。尽管这种方法可以帮助弥补向量搜索在查找特定术语(如缩写)时的缺乏特异性,但作者对结果并不满意,因为这些结果往往是多个结果集的拼凑,因为词汇和向量搜索很少为同一查询产生相同的结果。RRF是一种结合多个搜索结果列表的排名的技术,以生成一个单一的、统一的排名。该技术由滑铁卢大学(加拿大)和谷歌合作开发,根据其作者的说法,“RRF 产生的结果优于任何单一系统,并且优于标准的”重新排序方法。因此, 对于以上问题,需要一个系统,不仅仅能检索要求的内容,还能理解查询的细微差别。翻译 2024-09-25 11:02:22 · 12 阅读 · 1 评论 -
bpe分词-- huggingface tokenizers库
使用huggingface的bpe分词的代码示例原创 2024-04-18 08:25:02 · 174 阅读 · 1 评论 -
【LLM】langchain ui: langchain执行过程可视化
mapreduce方式是将检索到的文档(假设这里我们使用的是4个文档)先分别丢入llm(调用4次),由llm判定是否和问题相关,在将相关的丢入llm,回答问题。默认方式是将检索到的(假设这里我们使用的是4个文档)所有文档丢入llm,根据所有文档回答相应问题。每一次请求都会有相应的tag,具体点开可以到详细信息。refine方式将建多到的文档按照顺序丢入。原创 2023-09-20 09:43:13 · 872 阅读 · 1 评论