前沿论文汇总（机器学习/深度学习/大模型/搜广推/自然语言处理）-CSDN博客

文章目录

1 前言

本篇博客主要总结一下博主看过的人工智能领域的一些前沿论文，期待与大家一起进行交流探讨，列表中有超链接的是已经进行了精读的完整笔记，没有超链接的是进行了泛读的论文，博主会快马加鞭进行更新滴！请耐心等待博主嘿嘿，有什么比较好的论文也欢迎大家推荐给我啦，和大家一起学习共同进步！

2 大模型/自然语言处理

2.1 FreeAL：在大模型时代实现无需人工的主动学习

论文题目：FreeAL: Towards Human-Free Active Learning in the Era of Large Language Models
发表情况：2023-EMNLP
主要内容：

传统主动学习（AL）高度依赖人工筛选数据量大的未标注样本并进行标注，导致应用成本高昂且效率低下，难以适应大语言模型（LLM）时代的需求。

本文提出 FreeAL 框架，旨在完全消除人工参与。其核心创新在于利用LLM自身能力代替人工完成AL的两个关键步骤：

（1）自动样本选择：设计基于“自信度-不确定性”的评估框架，利用LLM预测的置信度和不确定性自动识别高价值样本；

（2）自动标注：直接使用LLM为选出的样本生成伪标签。

在文本分类任务上的实验表明，FreeAL 仅依赖LLM进行样本选择与标注，其性能即可接近需要人工参与的经典AL方法。这显著降低了AL的应用门槛和成本，为实现全自动化、可扩展的主动学习提供了有效路径。

2.2 COLD：中文攻击性语言检测基准

论文题目：COLD: A Benchmark for Chinese Offensive Language Detection
发表情况：2022-EMNLP
主要内容：

中文攻击性语言（如辱骂、仇恨言论）的检测缺乏高质量、细粒度的公开基准，现有数据集存在标注不一致、场景覆盖窄、缺乏上下文理解等问题，制约了中文内容安全技术的发展。本文提出首个综合性中文攻击性语言检测基准 COLD，核心创新包括：多维度标注体系、上下文增强设计、多任务评估框架。

2.3 将词汇的对比信息融入词嵌入以实现反义词-同义词区分

论文题目：Integrating distributional lexical contrast into word embeddings for antonym synonym
发表情况：2016-ACL
主要内容：

传统词嵌入模型主要依赖上下文分布相似性建模词义，导致同义词（synonym）与反义词（antonym） 在向量空间中距离相近（如"热"与"冷"余弦相似度高），无法有效区分语义对立关系，制约了词义敏感型任务（如情感分析、文本推理）的性能。

本文提出一种融合分布词汇对比的词嵌入框架，核心创新包括：

（1）对比信号提取：基于语料库统计，量化词对间的分布对比强度（如共现模式差异）；

（2）对比感知训练：将对比强度作为约束项融入损失函数，强制反义词对在向量空间中相互排斥，同时保持同义词对聚集。

在标准语义评测集及下游任务验证中表明，同义词识别性能保持稳定，未因对比约束而下降。

2.4 LogRAG：基于检索增强生成的半监督日志异常检测

论文题目：LogRAG: Semi-Supervised Log-based Anomaly Detection with Retrieval-Augmented Generation
发表情况：2024-ICWS
主要内容：

现有日志异常检测方法面临两大瓶颈：

（1）严重依赖标注数据，而工业场景中异常样本稀缺且标注成本高昂；

（2）难以泛化到未知异常模式，传统模型对未见过的故障类型检测能力骤降。

本文提出 LogRAG，首个融合检索增强生成（RAG）的半监督日志分析框架，包含下面三个部分：

（1）日志检索器：从历史未标注日志中动态检索相似序列，构建上下文知识库；

（2）生成式检测器：基于LLM解码器，融合检索到的上下文与实时日志流，生成异常分数与根因解释；

（3）半监督训练：仅需少量标注样本，通过对比学习对齐正常/异常模式表示。

实验结果表明，本文提出的模型较纯监督模型在低标注场景下有一定提升，显著增强泛化性，同时生成式框架同步输出人类可读的根因分析，助力运维决策。

2.5 RankRAG：基于大模型的上下文排序与检索增强生成的统一框架

论文题目：RankRAG：Unifying Context Ranking with Retrieval-Augmented Generation in LLMs
发表情况：2024-NeurIPS
主要内容：

现有检索增强生成（RAG）系统存在关键缺陷：检索模块与生成模块优化目标割裂，导致检索结果与生成需求错配（如返回冗余或低相关性上下文），严重制约大语言模型（LLM）的知识利用效率与答案准确性。

本文提出 RankRAG，首创端到端可训练的检索-排序-生成统一框架，主要如下：

（1）可调上下文排序器：基于LLM隐状态动态评估检索段落与生成任务的相关性，替代传统不可微检索；

（2）生成导向联合训练：通过任务感知损失函数同步优化排序质量（提升关键段落权重）与生成准确性（利用精排上下文），实现两模块深度协同。

实验结果表明，RankRAG超越了所有的基线模型，并且各个组件也都有一定的效果，为高效可信的LLM知识增强提供新范式。

2.6 解耦大语言模型中的记忆与推理能力

论文题目：Disentangling Memory and Reasoning Ability in Large Language Models
发表情况：2025-ACL
主要内容：

当前大语言模型（LLM）将事实记忆与逻辑推理能力耦合于同一参数网络，导致两大缺陷：

（1）知识更新需全模型微调，时效性差且成本高昂；

（2）推理过程受记忆干扰，易产生事实性幻觉（如混淆相似概念）。

本文提出双路径解耦架构，对问答数据集所有应答句进行记忆/推理分类，并添加可学习的控制标记<memory>或<reason>。这种机制强制模型显式执行知识检索（记忆阶段）与逻辑推演（推理阶段），通过结构化引导规避混合处理导致的知识遗忘与幻觉风险，为构建可维护、高可靠的LLM提供新范式。

3 搜索/推荐/营销

3.1 PLE：一种面向个性化推荐的新型多任务学习模型

论文题目：Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations
发表情况：2020-RecSys
主要内容：

本文针对个性化推荐系统中多任务学习（MTL）普遍存在的任务冲突和负迁移问题，提出了创新模型PLE。传统共享底层参数的MTL模型在处理任务相关性差异大的复杂场景时效果受限。PLE的核心创新在于设计了一种分层专家结构，明确分离出共享专家层（用于提取跨任务共性知识）和任务专属专家层（用于学习任务特定知识），从根源上减少参数冲突。同时，PLE引入了渐进式提取机制，在更高层级通过门控网络动态、渐进地融合底层共享专家和任务专属专家提取的信息，优化知识迁移路径。

实验证明，在腾讯视频推荐等实际工业场景中，PLE显著优于如YouTube、MMoE等主流基线模型，特别是在任务差异大的情况下，有效提升了点击率（CTR）和观看时长等关键指标，成功缓解了负迁移问题，为构建高效鲁棒的工业级推荐系统提供了强有力的多任务学习解决方案。

3.2 MMoE：多任务学习中的任务关系建模

论文题目：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
发表情况：2018-SIGKDD
主要内容：

传统多任务学习（MTL）采用硬参数共享机制，所有任务强制共享底层网络。当任务间相关性低或存在冲突时，易导致负迁移（任务相互干扰）和性能下降，制约模型在复杂场景（如推荐系统）的应用。

本文提出 MMoE（Multi-gate Mixture-of-Experts） 模型，核心创新为：(1) 混合专家层（MoE）：构建多组独立专家网络（Expert），提取差异化特征；(2) 多门控机制（Multi-gate）：为每个任务设计独立门控网络（Gating Network），动态学习专家组合权重，实现任务自适应知识共享。

最后在真实数据集（如大规模内容推荐）上验证，MMoE显著优于共享底层模型，成功缓解负迁移问题，为工业级多任务学习提供了高效解决方案。