【AI学习】RAG与推荐系统

最新推荐文章于 2024-07-11 18:01:45 发布

bylander

最新推荐文章于 2024-07-11 18:01:45 发布

阅读量862

点赞数 9

分类专栏： AI学习文章标签：人工智能学习

本文链接：https://blog.csdn.net/bylander/article/details/138199906

版权

AI学习专栏收录该内容

29 篇文章 0 订阅

订阅专栏

一、《双塔模型的瓶颈究竟在哪？》

文章介绍了谷歌的一篇论文，《Large Dual Encoders Are Generalizable Retrievers》
文章主要在讲，稠密检索模型在OOD（Out-Of-Distribution，即域外）泛化能力不行，主要还是模型规模和训练数据的问题。
文章在固定稠密向量维度不变的条件下，采用不同尺寸的T5-encoder(base、large、3B、11B)训练稠密检索模型。实验结果表明，“稠密检索模型的瓶颈并不完全在于单个向量的表示能力不足，编码器的能力也会在很大程度上影响模型的泛化能力。”
文章中模型的损失函数，使用了余弦相似度，而不是点积相似度。针对“使用余弦相似度度量训练的模型会偏向于检索出短文档，而使用点积相似度训练的模型会偏向于检索出长文档”，文章验证当模型尺寸变大之后，这一论点是否还成立。结论是当模型尺寸变大之后，模型能够生成更优质的文档编码，长度偏差问题就没那么严重了。

借助kimi，学习了文章中两个相关知识：BM25和稠密检索模型
BM25
在这里插入图片描述

稠密检索模型（Dense Retriever）是自然语言处理（NLP）和信息检索领域中的一个术语，它指的是一种基于密集向量表示的文档检索方法。这种模型之所以被称为“稠密”（Dense），是因为它们使用连续的、稠密的向量（通常是实数向量）来表示查询（query）和文档（document），而不是传统的稀疏向量表示。
在传统的信息检索系统中，文档和查询通常是通过稀疏向量表示的，例如使用TF-IDF（词频-逆文档频率）或词袋模型（Bag of Words），其中向量中的每个元素对应于词汇表中的一个单词，并且只有单词出现时元素才非零。
相比之下，稠密检索模型使用深度学习技术，如变换器（Transformers）或BERT（Bidirectional Encoder Representations from Transformers），来生成每个文档和查询的密集向量表示。这些向量能够捕捉到文档和查询之间的语义相似性，因为它们是在连续的向量空间中通过学习大量的文本数据得到的。
稠密向量表示的优势在于：

语义相关性：稠密向量能够捕捉到单词和短语之间的语义关系，甚至是词汇表之外的语义信息。
计算效率：稠密向量可以通过点积（dot product）或余弦相似度（cosine similarity）快速计算相似性，这在大规模检索任务中非常有用。
灵活性：稠密向量可以用于各种不同的任务，包括语义搜索、问答系统和对话系统。
然而，稠密检索模型也有其挑战，比如需要大量的计算资源来训练大型模型，以及可能存在的域外泛化能力问题。文章中提到的研究表明，通过增加模型的大小和提供更多的训练数据，可以提高稠密检索模型的泛化能力。