好好好_-CSDN博客

原创 Negative Sampling in Recommendation: A Survey and Future Directions

这些动态负采样策略的共同目标是提高推荐系统的性能，通过选择与用户偏好更相关的负面样本来优化模型的训练过程。这些静态负采样策略的关键在于如何根据负样本的分布来设置采样策略，通常涉及对不同样本设置不同的权重，以反映它们在数据集中的分布情况。静态负采样策略不涉及合成新的负样本，而是在学习负样本分布的基础上进行采样，使得每个样本被采样为负样本的概率在训练过程中保持不变。这些重加权策略的共同目标是提高推荐系统的性能，通过为不同的样本分配适当的权重来平衡训练数据的分布，从而提高模型的准确性和鲁棒性。

2024-10-29 21:41:51 582

原创 A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More

大型语言模型（LLM）在生成人类查询的事实上和连贯回答方面的能力，以及训练数据质量参差不齐导致的挑战。论文提出了对LLM进行对齐的不同方法，以增强其与人类期望的一致性，并指出之前缺乏对这些方法的全面分类和详细解释。本工作旨在通过分类和详细解释每种对齐方法，帮助读者全面了解该领域的当前状态。

2024-10-29 17:27:29 906

原创 Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review

有趣的是，基于强化学习的方法与分类器指导有着密切的联系。更具体地说，在本节中，论文阐明了如何将基于强化学习的方法应用于条件生成。的应用，包括 PPO、可微优化、奖励加权 MLE、值加权采样和路径一致性学习，专为微调扩散模型而定制。论文的目标是探索基本方面，例如不同场景下基于 RL 的微调算法的。、基于 RL 的微调与非基于 RL 的方法相比的优势，以及 RL 的正式目标基于微调（目标分布）。此外，我们的目标是检查它们与相关主题的联系，例如。该综述对微调扩散模型以优化下游奖励函数的方法进行了全面的调查。

2024-08-17 19:05:19 218

原创 Best Practices and Lessons Learned on Synthetic Data for Language Models（语言模型合成数据的最佳实践和经验教训））

本文概述了研究，讨论了其。论文提供现有技术的经验证据来证明其有效性，并强调确保其真实性、保真度和公正性的重要性。论文强调需要负责任地使用合成数据来构建更强大、更具包容性和值得信赖的语言模型。

2024-05-11 22:53:43 768

原创 A Survey on Diffusion Models for Time Series and Spatio-Temporal Data（时空序列数据扩散模型综述）

时间数据，特别是是时空序列数据，是广泛的现实应用的重要数据结构[76]。时间序列被定义为数据点的顺序排列，按时间顺序分类。这些序列可以是单变量（涉及随时间变化的单个变量），也可以是多变量（包含多个变量）。例如，城市的每日空气质量测量构成一个单变量时间序列，而结合每日温度和湿度读数生成一个多变量序列。在实际应用中，时空数据是指观测值的集合，其中每个数据点由其在空间和时间中的位置定义，封装了各种数据结构，例如图形、轨迹甚至视频，如[76]中所述。

2024-05-09 16:27:43 1366

原创 CodecLM: Aligning Language Models with Tailored Synthetic Data(CodecLM：将语言模型与定制的合成数据对齐))

已成为将大型语言模型（LLM）与特定任务指令对齐的关键，从而减少下一个令牌预测目标与用户实际目标之间的差异。为了减少人类收集或注释数据的劳动力和时间成本，研究人员开始探索使用LLMs来。最近的工作重点是生成多样化的指令并应用 LLM 来增加指令复杂性，通常忽略下游示例。目前尚不清楚如何定制高质量数据以在不同的目标指令分布和LLMs中获得更好的指令跟踪能力。为此，我们引入了 CodecLM，这是一个通用框架，用于，用于与不同下游指令分布和 LLM 进行 LLM 对齐。

2024-04-28 22:37:03 839

原创 ITERALIGN: Iterative Constitutional Alignment of Large Language Models（大型语言模型的迭代对齐）

规则提案模块创建了一套可用于进一步完善LLMs的指导原则。我们按照规则提案，实行规则驱动的自我完善。这涉及到基础LLMs的规则引发的。

2024-04-28 20:07:22 1216

原创 CYCLE：学习自我完善代码生成

预训练的代码语言模型在代码生成方面取得了可喜的性能，并提高了人类开发人员的编程效率。然而，现有的代码 LM 评估通常忽略了它们的能力，这些评估仅关注一次性预测的准确性。对于代码 LM 无法实现正确程序的情况，开发人员实际上发现很难调试和修复错误的预测，因为它不是由开发人员自己编写的。不幸的是，我们的研究表明，代码语言模型也无法有效地自我改进其错误的生成。在本文中，我们提出了 Cycle 框架，学习根据可用的反馈（例如测试套件报告的执行结果）来自我改进错误的生成。

2024-04-26 22:30:35 840

原创 What are human values, and how do we align AI to them?（什么是人类价值观？我们如何让人工智能适应这些价值观？）

CCAI 和类似的方法旨在引出价值观（Ganguli 等，2023），并找到人们同意的价值观，但实际上他们达成一致的是任意评论。例如，以下评论被视为 CCAI 的共同“价值观”： • AI 应该始终做正确的事情 • AI 不应该提供建议。• 人工智能应该很有趣。• 人工智能应积极解决和纠正其决策算法中的历史不公正和系统性偏差。• 人工智能应保持公正并仅陈述已证实的事实。• 人工智能应该促进自我激励和积极强化，这些都是价值观吗？有些看起来更像是政策，有些像是模糊的愿望陈述，有些看起来像是目标。

2024-04-26 16:25:39 961 1

原创 Knowledge Editing for Large Language Models: A Survey

大型语言模型（LLMS）最近由于其出色的理解，分析和生成文本的能力而根据其广泛的知识和推理能力来改变了学术和工业景观。然而，LLM的一个主要缺点是由于其前所未有的参数量，其预训练的大量计算成本。当经常需要将新知识引入预训练的模型中时，这种缺点会加剧。因此，必须开发有效的技术来预训练的LLM。传统方法通过直接微调编码预训练的LLM中的新知识。但是，天真的重新训练LLM可以是计算密集型的，并冒着与模型更新无关的有价值的预训练知识退化的风险。

2024-04-12 17:10:10 1453

原创 Data-efficient Fine-tuning for LLM-based Recommendation

利用大型语言模型（LLM）进行推荐最近引起了相当大的关注，其中微调在 LLM 的适应中发挥着关键作用。然而，在快速扩展的推荐数据上微调LLMs的成本限制了其实际应用。为了应对这一挑战，小样本微调提供了一种很有前途的方法，可以使LLMs快速适应新的推荐数据。我们提出了基于 LLM 的高效推荐的，旨在识别为 LLM 的身定制的代表性样本。虽然核心集选择与所提出的任务密切相关，但现有的核心集选择方法通常依赖于次优启发式指标，或者需要对大规模推荐数据进行成本高昂的优化。

2024-04-04 23:40:09 909 1

原创 From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction T

在大型语言模型领域，指令的平衡已成为焦点。认识到这一点，论文为LLMs引入了一种自引导方法，可以从大量开源数据集中自主识别和选择樱桃样本，从而有效地最大限度地减少手动管理和调整LLMs指令的潜在成本。我们的关键创新是，它是识别模型预期响应与其自主生成能力之间差异的关键指标。通过IFD的熟练应用，，模型训练效率显着提升。对 Alpaca 和 WizardLM 等数据集的实证验证支撑了我们的发现；只需传统数据输入的 10%，我们的策略就展示了改进的结果。

2024-04-04 19:50:43 1031 1

原创多模态大语言模型的 (R) 演变：调查

连接文本和视觉模式在生成智能中起着至关重要的作用。因此，受大型语言模型成功的启发，大量研究工作致力于多模态大型语言模型（MLLM）的开发。这些模型可以无缝集成视觉和文本模式作为输入和输出，同时提供基于对话的界面和指令跟踪功能。该论文对最近基于视觉的 MLLM 进行了全面回顾，分析了它们的架构选择、多模态对齐策略和训练技术。论文对这些模型进行了广泛的任务的详细分析，包括视觉基础、图像生成和编辑、视觉理解和特定领域的应用。论文还编译和描述训练数据集和评估基准，在性能和计算要求方面对现有模型进行比较。

2024-03-20 21:44:12 2138 1

原创 A Survey on Knowledge Distillation of Large Language Models(大语言模型知识蒸馏综述)

例如高级上下文跟踪（例如，上下文学习（Huang 等人，2022a）和指令跟踪（Taori 等人，2023））、改进与用户意图的一致性（例如，人类价值观/原则（Cui 等人，2023a），以及思想链（CoT）等思维模式（Mukherjee 等人，2023）），以及 NLP 任务专门化（例如，语义理解（Ding 等人） al., 2023a) 和代码生成 (Chaudhary, 2023))。该调查提出了第 6 节中的未解决问题，确定了知识蒸馏研究中当前的挑战和差距，为未来的工作提供了机会。

2024-03-20 15:17:55 1301 2

原创 Large Multimodal Agents: A Survey（大型多模态代理：综述）

大型语言模型（LLM）在支持基于文本的人工智能代理方面取得了卓越的性能，赋予它们类似于人类的决策和推理能力。与此同时，出现了一种新兴的研究趋势，重点是将这些由LLMs支持的人工智能代理扩展到多模式领域。此扩展使人工智能代理能够解释和响应不同的多模式用户查询，从而处理更复杂和细致的任务。论文 LLM 驱动的多模式代理进行了系统回顾，论文将其称为大型多模式代理（简称 LMA）。首先，论文介绍了开发 LMA 所涉及的，并将当前的研究主体分为。随后，论文审查了整合多个 LMA 的，以提高集体效率。该领域的。

2024-03-18 19:23:29 2210

原创 Retrieval-Augmented Generation for AI-Generated Content: A Survey （RAG检索增强生成）

实际的增强过程对最终的生成结果有很大影响。对更先进的增强基础的研究有望充分释放 RAG 的潜力。基于构建的RAG系统，增强功能有助于提高某些组件或整个管道的有效性。鉴于系统固有的复杂性，RAG 存在巨大的改进潜力，需要适当的调整和仔细的工程设计。期待进一步的实验分析和深入探索，开发更有效、更强大的 RAG 系统。正如第四节中所介绍的，RAG 是一种通用技术，已应用于多种模式和任务。然而，大多数现有作品直接整合外部特定生成任务的知识，而没有彻底考虑目标领域的关键特征。2）

2024-03-18 16:35:19 1299

原创 On the Essence and Prospect: An Investigation of Alignment Approaches for Big Models（大模型对齐）

LLMs通过建模和模仿人类来展现特定的个性。第二个重点是将具有特定个性的LLMs定制为。

2024-03-17 20:57:00 1762 1

原创 A Survey on Multimodal Large Language Models

多模态指令调优 (M-IT)多模态上下文学习 (M-ICL)多模态思维链 (M-CoT) 和LLM 辅助视觉推理 (LAVR) ）。前三者构成了MLLM的基础，而最后一个则是以LLM为核心的多模式体系。需要注意的是，这三种技术是相对独立的，并且可以组合使用。因此，论文对一个概念的阐释也可能涉及到其他概念。论文首先详细介绍 M-IT（第 3.1 节），从架构和数据两个方面揭示LLMs如何适应多模态。然后论文介绍 M-ICL（第 3.2 节），这是一种在推理阶段常用来提高小样本性能的有效技术。

2024-03-15 22:39:23 1283 1

原创 The Rise and Potential of Large Language Model Based Agents: A Survey

长期以来，人类一直在追求相当于或超越人类水平的人工智能（AI），而人工智能代理被认为是实现这一追求的有前途的工具。人工智能代理是感知环境、做出决策并采取行动的人造实体。人们为开发智能代理做出了许多努力，但它们主要集中在算法或训练策略的进步，以增强特定任务的特定能力或性能。事实上，社区缺乏的是一个通用且强大的模型来作为设计能够适应不同场景的人工智能代理的起点。由于它们所展示的多功能能力，大语言模型（LLM）被认为是通用人工智能（AGI）的潜在火花，为构建通用人工智能代理带来了希望。

2024-03-15 16:01:36 1129 1

原创 GraphEdit: Large Language Models for Graph Structure Learning

图结构学习（GSL）专注于通过生成新颖的图结构来捕获图结构数据中节点之间的内在依赖关系和交互。图神经网络 (GNN) 已成为有前途的 GSL 解决方案，利用递归消息传递来编码节点间的相互依赖关系。然而，许多现有的 GSL 方法严重依赖显式的图结构信息作为监督信号，这使得它们容易受到数据噪声和稀疏性等挑战的影响。在这项工作中，我们提出了 GraphEdit，这是一种利用大型语言模型 (LLM) 来学习图结构数据中复杂节点关系的方法。

2024-03-15 14:59:24 1229 1

原创 NExT-GPT: Any-to-Any Multimodal LLM（NExT-GPT：任意对任意多模态LLM）

虽然最近多模态大型语言模型（MM-LLM）取得了令人兴奋的进步，但它们大多受到仅的限制，而无法。由于我们人类总是通过各种方式感知世界并与人们交流，因此开发能够以任何方式接受和输出内容的任意 MM-LLM 对于人类水平的人工智能至关重要。因此，本论文提出了一个端到端通用的任意 MM-LLM 系统 NExT-GPT。论文将 LLM 与和不同的连接起来，使 NExT-GPT 能够感知输入并以文本、图像、视频和音频的任意组合生成输出。通过利用现有训练有素的高性能编码器和解码器，NExT-GPT仅使用某些。

2024-02-22 16:39:45 1071 1

qq_46094659的博客