weixin_45783724的博客

听演讲者说现在的AIGC检测还是相对脆弱，往往只需要略微修改一些提示词就可以对抗攻击许多先进的检测算法，探究更鲁棒的方法以及检测的上界是现在的关注点。顺便记录一些到会场看到的情况：RAG和图模型报告的上座率很高，其他的比如检索、AIGC检测都相对人少。social方面基本就每个国家内部沟通的比较多，认识了一些国内的同行。今天准备出去玩一天，计划逛一逛市中心的核心建筑群，感受下巴塞罗那的文化。

知乎想法：https://www.zhihu.com/pin/1811084177057116161?检索：RAG的检索器分为稀疏检索器，有监督密集检索器，无监督密集检索器，搜索引擎，提示词检索器，根据不同任务选择相应检索器。检索前后处理：前处理（查询改写，查询分解，查询扩展），后处理（重排，上下文压缩，修正）综述论文：https://arxiv.org/pdf/2405.06211。

博主的第一篇一作论文：如何利用LLM的助力在组合图像检索任务达到sota

本文旨在对任意模态输入-任意模态输出 (X2X) 的LLM的编解码方式进行简单梳理，同时总结一些代表性工作。：图像代表Image，视频代表Video（不含声音），音频代表 Audio/Music，语音代表Speech。

密集检索模型的Scaling Law是什么样的？本文一探究竟

近年来，目前的图像-文本检索方法取得了惊人的性能。模态间匹配缺失问题和模态内语义丢失问题。这些问题会显著影响图像-文本检索的准确性。为了解决这些挑战，我们提出了一种新的方法，称为跨模态和单模态软标签对齐（CUSA）。我们的方法利用单模态预训练模型的力量，为图像-文本检索模型提供软标签监督信号。利用这些信号，本文提出了两种对齐技术，跨模态软标签对齐（CSA）和单模态软标签对齐（USA），以减轻假负例问题，并增强单模态样本之间的相似性识别。我们的方法被设计为即插即用模块。

最近，LLM在对话，解数学题，写代码，使用工具等各种任务上取得了出色的效果。尽管LLM处理了密集的世界知识，但他们在面对知识密集型任务比如开放域问答时仍然会出现事实错误，这些不诚实的回复可能会在实际应用中造成重大风险。我们认为，让LLM拒绝回答它不知道的问题，是减少幻觉和使助手诚实的关键方法。因此，在本文中，我们提出了这样一个问题：“人工智能助手能知道他们不会的内容，并通过自然语言来表达它们吗？”为了回答这个问题，我们基于现有的开放领域问答数据集，为LLM构建了一个特定于模型。

句子表示学习（SRL）是自然语言处理（NLP）中的一项基本任务，句子编码对比学习（CSE）因其优越的性能而成为主流技术。CSE中一个有趣的现象是有监督方法和无监督方法之间的显著性能差异，它们唯一的区别在于训练数据。以前的工作将这种性能差距归因于对齐和均匀性的差异。然而，由于对齐和均匀性只衡量结果，他们没有回答“训练数据的什么方面导致了性能差距？”以及“如何才能缩小性能差距？本文进行了实验来回答这两个问题。首先通过彻底比较监督和无监督CSE在各自训练过程中的行为来回答“什么”的问题。从比较中，我们确定了。

RAG理论笔记第四篇

RAG理论笔记第三篇

RAG理论笔记第二篇

RAG理论笔记第一篇

最近SRL中也有不少工作使用对比学习，但是SRL的评估除了VRL常用的外部协议（下游分类任务），还需要着重评估STS这样的内部协议（因为语义相似度质量优化本来就是预训练语言模型表示学习损失函数的目标，且外部协议已经被证明在SRL中可以较好完成）对于超球面中几何距离，梯度耗散可以解释为，CL在减小正例对距离的情况下，保持了正例对和负例对距离，而其他损失仅仅减小了正例对距离。我们在两种分解形式的四个优化目标上模拟了对比损失的相似的“梯度耗散”，并在STS任务上获得了与对比损失相同甚至更好的性能。

OpenAI使用的文本表示学习技术

开源AI搜索引擎介绍search-with-lepton

简单通俗理解Transformer

ACL2024主会的RAG/检索方向26篇论文简读

视觉语言经典大模型LLaVA追根溯源

如何提升RAG性能？对于黑盒大模型比如GPT4来说，比较合适的是冻住LLM，利用来。开源地址：https://github.com/NLPJCL/RAG-Retrieval这里面关键一环是，即对于每个用户查询Q和一些文档 𝐷1,𝐷2,…,𝐷𝐾 ，得到Q和每个文档的分数。对于来说，可以利用来说，比较好的思路是利用来得到监督信号。2024.6.4更新：这两天发现GPT3.5/4以及大多数基于API的大模型，并不支持获取输入token的概率，一个可替代的方案是将大模型得到。得到监督信号后，利用将和。

FlashRAG 是一个 Python 工具包，用于复现和开发检索增强生成（RAG）算法。此工具包包括 32 个经过预处理的基准 RAG 数据集和 12 种最先进的 RAG 算法。以下是架构图：最底层为组件层，包含RAG中的各种常用组件，包含检索器，重排器，压缩器，生成器，打分器等。第二层为流程层，包含顺序，分支，迭代，循环，条件等流程，这部分主要是合理使用各种组件来实现具体的算法第三层为数据层，包含用于检索的语料数据和用于评估的各种任务数据。