qq_52053775的博客

本报告介绍了一种基于前景理论（Prospect Theory）的大型语言模型对齐方法 ——KTO（Kahneman-Tversky Optimization）。该方法通过设计人类感知损失函数（HALO），直接最大化模型生成的效用，而非依赖人类偏好数据的对数似然，旨在解决现有对齐方法（如 PPO、DPO）依赖高成本偏好数据的局限性。报告将从 KTO 的创新思路、理论基础、原理、核心代码、性能对比及消融实验等方面展开详细阐述。

步骤描述1. 数据准备输入 prompt，带有 chosen 和 rejected 两个回答2. 模型前向获取策略模型和参考模型在这两个回答上的 log 概率3. 计算目标函数用对比对数比构造 sigmoid 损失函数4. 反向传播只更新策略模型的参数，参考模型保持冻结微调运行过程：通过网盘分享的文件：大模型链接: https://pan.baidu.com/s/1kZNFLPNevEKQnLGzhcDmrg?pwd=gfw7 提取码: gfw7。

传统的 RLHF 通过奖励模型和 KL 散度约束来优化策略，而 DPO 直接利用偏好数据进行最大似然优化，避免了复杂的强化学习过程和奖励模型的显式训练，简化了流程，提高了效率。该模型有以下基本假设：每个项目或实体都有一个潜在的能力值，这个值反映了该项目在与其他项目比较时获胜的概率。Bradley - Terry 模型是一种用于比较和排序多个项目或实体的统计模型。它最初由 Ralph Bradley 和 Milton Terry 在 1952 年提出，主要用于体育比赛中的胜负预测。

这种零初始化注意力机制的目的是在训练初期稳定梯度，避免由于随机初始化的适配提示带来的不稳定因素。通过门控因子gl​的自适应调整，在训练过程中逐渐平衡适配提示和输入文本的注意力贡献。

确定量化级别和范围：选择量化后的整数位数(如INT8)，并确定对应的浮点数范围和整数范围。计算缩放因子：根据浮点数范围和整数范围计算缩放因子。量化：将浮点数通过公式映射为整数。

链接: https://pan.baidu.com/s/1kZNFLPNevEKQnLGzhcDmrg?pwd=gfw7 提取码: gfw7。通过网盘分享的文件：大模型。

LoRA（Low-Rank Adaptation of Large Language Models）作为一种创新的微调技术，旨在解决这些问题，为大语言模型的高效应用提供新的思路和方法。传统的微调方法需要更新模型的所有参数，这对于像 GPT-3（175B）这样的大参数模型来说，训练参数规模极其庞大，不仅增加了训练成本，还可能导致过拟合等问题。以 GPT2 medium 在单 GPU 推理为例，在不同条件下延迟增加 2.2% - 30.3%，这在对推理速度要求较高的应用场景中是一个明显的缺陷。

在多模态大语言模型（MLLMs）快速发展的背景下，现有模型因高参数量（如 72B、175B）和算力需求，仅能部署于云端，难以适配手机、车载终端等内存和算力受限的端侧设备。聚焦 “轻量高效” 与 “端侧落地”，通过架构创新、训练优化和部署适配，打造高知识密度的端侧 MLLM，实现性能与效率的平衡，推动多模态 AI 从云端走向终端。

从视频中估计人体姿态是人工智能的一个基础课题，旨在识别和定位人体上的解剖学关键点。近年来，随着深度学习算法和模型的持续突破，人工智能在多个领域取得了成功。对于姿态估计，有一条研究路线专注于设计不同的网络结构。例如，有研究采用卷积神经网络（CNN）和长短期记忆网络（LSTM）来提取人体的内在运动动态。另一条研究路线引入特定的损失函数来监督网络。1）鲁棒性。过度定制的网络结构和缺乏因果感知能力会影响模型的鲁棒性。2）可解释性。对于姿态估计任务，每一帧都是因果（关键点相关）和非因果（例如背景、物体）因素的混合体。

例如，对于图像模态的描述任务，可能会生成 “描述这张图片中的场景：[图片数据]” 这样的输入。经过模态编码器的处理，将原始的模态数据转换为特征向量，再通过投影函数将这些特征向量转换到 LLM 的嵌入空间。X - InstructBLIP 模型应运而生，它聚焦于解决现有多模态大语言模型（MM - LLMs）存在的关键问题，旨在构建一个功能强大的通用框架，实现多模态与大语言模型的深度融合，显著提升模型在多模态任务上的表现，特别是在跨模态推理方面取得突破，为多模态人工智能的发展开辟新的道路。

分布式训练是应对大模型训练挑战的有效手段，它将训练任务拆分为多个子任务，并并行分配到多个计算设备上同时进行计算。通过这种方式，可以充分利用多个设备的计算资源，加速模型的训练过程，提升训练速度。总训练速度与单设备计算速度、计算设备总量以及多设备加速比密切相关，其中多设备加速比反映了分布式训练系统中多个设备协同工作的效率提升程度。

Video-LLaVA 在统一视觉表示框架下，同时提升了图像和视频任务的性能，超越了针对单一模态设计的模型。在视频性能方面，其在 MSRVTT、MSVD、TGIF 和 ActivityNet 数据集上，分别比 Video-ChatGPT 高出 5.8%、9.9%、18.6% 和 10.1%。在图像性能方面，该模型在 5 个图像问答数据集和 4 个图像基准测试中均表现出色，验证了统一表示框架的有效性。采用动态联合训练，每个批次随机组合图像和视频数据，增强模型跨模态泛化能力。其二为统一表示的困难，

Qformer（Querying Transformer）源自 BLIP - 2 论文，目标是高效对齐冻结的单模态模型，本质上是一种软连接或翻译器。通过两阶段预训练，在第一阶段进行表示学习，将 Image Embeding 转化为与文本最相关的视觉特征表示；第二阶段进行生成学习，使 LLM 可以根据 Qformer 提取的视觉特征表示，生成自然的语言。

Freeze 方法即参数冻结，通过冻结原始模型的大部分参数，仅训练少部分参数，大幅减少显存占用，从而实现对大模型的微调。该方法实现简单，在代码中只需设置需要微调的层的参数。例如，可通过循环遍历模型参数，依据层名判断是否冻结，如冻结除特定层（如 “layers.27”“layers.26” 等）之外的参数 ，使得模型训练时仅特定层参数参与更新。如此，模型训练时仅特定层参数参与更新。近期研究还发现，冻结底层参数可显著缓解 “虚假遗忘” 现象。

MoE 是一种将多个子模型（专家）结合的技术，用于提升大语言模型（LLMs）性能。它主要由稀疏 MoE 层和门控网络（路由）组成。

现在你已经成功安装并配置了Neo4j社区版，并且可以使用Python导入的数据。如果需要修改密码，可以在Neo4j的浏览器界面中进行修改。Cmd在对应的虚拟环境下输入npm run serve。

这些数据的来源丰富多样，并且经过了精心的筛选和配比。具体的数据构成比例为：50% 的常识知识类数据、25% 的数学与推理类数据、17% 的代码相关任务数据以及 8% 的多语言数据。随着迭代次数的增加，DPO 模型的性能不断提升，RS 阶段能够选出的答案质量也随之提高，进而使得 SFT 模型的性能得到持续优化，形成了一个良性的正反馈循环。随着序列长度增加，位置编码的维度会变得越来越复杂，并且对于远距离的位置，正弦和余弦的变化会变得模糊，导致模型难以有效地捕捉远距离位置之间的依赖关系。

随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。因此，设计分布式训练（Distributed Training）系统来解决海量的计算和内存资源需求问题变得至关重要。分布式训练是指这些计算设备可以是中央处理器（CPU）、图形处理器（GPU）、张量处理器（TPU）或神经网络处理器（NPU）。

事实验证技术在自然语言处理领域获得了广泛关注，尤其是在针对误导性陈述的检查方面。然而，利用图表等数据可视化来传播信息误导的情况却很少受到重视。图表在真实世界中广泛用于总结和传递关键信息，尤其是在科学文献、教科书、新闻报道和社交媒体上。然而，图表也可以被滥用，用来散布虚假信息或服务于某些特定的宣传目的。现有研究主要聚焦于误导性图表设计（如截断坐标轴等），但却忽视了图表解读中基于信息谬误的误导性陈述。验证这些陈述需要从紧密结合文本和视觉元素的图表中提取信息。

源代码与自然语言之间的语义鸿沟是生成高质量代码提交信息的一个重大挑战。代码提交信息对于开发者来说非常重要，因为它们简明扼要地描述了代码更改的高层次意图，帮助开发人员无需深入了解具体实现即可掌握软件的演变过程。手动编写高质量的提交信息对开发者来说是额外的负担，特别是在大型项目中，这种负担尤为明显。目前，已有多种方法尝试解决这一问题。早期的研究通常采用预定义的模板来生成提交信息，但这种方法需要人工定义模板，且对无法匹配这些模板的提交可能无法生成有意义的信息。

允许用户定义不同采样器的顺序，例如先应用 top_p 再调整 temperature，以更好地控制生成行为。

评论员的反馈机制使得任务解决不再是单纯的线性过程，而更像是一个经过验证和优化的树形决策过程。AI用户负责进行任务规划，并通过对话提供明确的指令。与此同时，AI助手则根据AI用户的指令执行任务。通过这种指令-响应的循环，用户与助手在任务完成前会不断交换信息，直到任务的目标被完成。评论员的任务是为AI智能体提供反馈或选择最佳方案，类似于决策树搜索过程中的辅助决策者。整个过程是多轮的，每一轮对话都会推进任务解决的进程。提出一个初步的想法，并为不同的智能体分配角色。会将这个初步的想法具体化，使其变为可操作的任务。

1.1. 当前的挑战软件开发是一个复杂且多层次的过程，要求具备不同技能的团队成员之间密切合作。例如，架构师、程序员和测试人员需要通过自然语言和编程语言的结合来分析需求、开发系统、调试代码。然而，当前的开发流程面临多个挑战，尤其是在采用传统的瀑布式开发模型时。首先，每个开发阶段——从设计、编码到测试——都使用了深度学习来优化特定环节，尽管这些技术在各自阶段内有显著提升，但由于每个阶段的深度学习模型设计都不相同，导致了技术不一致性的问题。不同阶段的模型在架构和流程上相互隔离，缺乏跨阶段的整合。

在解决现实世界问题的过程中，往往需要通过多个步骤才能完成复杂任务。尽管当前的大型语言模型已经在这一领域取得了显著进展，但它们的成功主要依赖于用户提供的精确输入或提示。为了解决复杂任务，用户必须不断向模型提供相关指令，这种过程需要用户具备深厚的领域知识，并且经常会耗费大量的时间和精力。对人类输入的高度依赖：语言模型必须依赖用户提供的提示来推进任务，而生成这些提示通常需要专业知识和技术经验。提示的复杂性和时间成本。

代码审查是软件维护中至关重要的一部分，通过审查代码的变更，软件维护人员可以确保代码的质量、遵守编程标准，并且能够发现潜在的错误或改进方案。近年来，为了提高代码审查的自动化水平，已经提出了多种方法。然而，当前的主流方法往往忽视了代码审查过程的互动性和协作性，更多的是关注如何针对特定需求（如漏洞检测）进行审查，但在实际的代码审查过程中，还涉及代码格式或代码修正一致性等多方面问题。在此背景下，本文提出了一个多智能体框架——CodeAgent，用于模拟团队协作模式中的代码审查过程。

操作系统中的内存分页是一种用于管理和分配计算机内存的方法，主要应用于 Windows 和 Unix 等操作系统。它的基本思想是将内存分割成多个“页面”（Page），操作系统根据程序运行的需要将页面动态地加载到物理内存中，而不常用的页面则可以暂时存放到硬盘上的交换文件（Swap File）中。这种技术可以让内存使用更加高效，避免将所有程序的数据一次性加载到物理内存中，尤其是当系统资源有限时，这种机制可以显著提升系统的性能。

语言模型虽然强大，但是否能够在特定领域或特定公司数据上有效工作，仍然存在疑问。模型经过大量公共数据的预训练，但缺乏公司私有数据的训练使其难以直接适应公司特定的问答需求。因此，关键问题在于如何增强这些模型，使它们能够处理公司专有数据并给出准确的回答。为了解决这一问题，需要开发一种方法，能够有效结合私有数据和已有的 LLM，从而在不从头训练模型的情况下，实现对特定领域的问答能力提升。

LLMs、提示与解析器：与 LLM 的交互构成了 LangChain 的核心功能。LangChain 提供了一个统一的接口，用于调用不同的 LLM，并支持开源及私有模型的整合。提示（Prompts）组件负责生成连贯且高质量的模型输出，通过构建和复用提示模板来优化输出结果。输出解析器组件则简化了模型输出的处理流程，确保其符合后续处理的格式规范。

提示工程作为一门新兴的学科，专注于开发和优化提示技术，旨在提升语言模型（LMs）在各种应用与研究主题中的效能。掌握提示工程技能对于深入理解大型语言模型（LLMs）的潜力与局限至关重要。研究人员借助提示工程，致力于增强LLM在广泛且复杂的任务（如问答系统与算术推理）中的表现。而对于开发人员而言，提示工程则成为设计高效、强大提示技术的关键，这些技术能够无缝对接LLM与其他工具，实现功能的最大化利用。值得注意的是，提示工程远不止于简单的提示设计与开发。

大型语言模型（LLM），诸如ChatGPT与GPT-4，在自然语言处理领域（涵盖生成、理解及对话等任务）展现出了卓越的性能，并对其他人工智能领域的研究产生了显著的推动作用。尤为重要的是，这些技术的飞速发展，为智能LLM智能体的研究奠定了坚实的基础，使得这类智能体能够胜任更为复杂的任务。LLM智能体，作为一种以大型语言模型为核心计算引擎的AI实体，不仅具备了感知、认知、记忆等能力，还展现出了高度的行动自主性，能够执行一系列主动行为。

大语言模型（LLM）已展现出作为通用任务解决智能体的卓越能力，其知识储备与技能水平令人瞩目。然而，在面对需要高度密集知识与复杂推理的任务时，如预防幻觉、采用深度思考策略、确保信息可信度以及整合跨领域知识与长期规划等，这些模型仍面临诸多挑战。相比之下，人类通过协作解决问题的模式，能够高效地应对各领域中的非标准难题。通过分工合作、运用多样化的视角与专业知识，人类显著提升了解决方案的质量与可靠性。受人类协作解决问题模式的启发，近期的研究工作通过引入多智能体讨论机制，旨在提升LLM的任务解决能力。

在深入探讨语言智能体技术时，我们观察到利用LLMs（大型语言模型）的卓越能力来感知环境、决策并行动，已成为应对复杂现实问题的有效策略。目前的研究重心主要集中在提示工程及多个闭源LLMs（如GPT-4）的框架调度上，以达成智能体任务的执行。尽管这些研究在成果与灵活性上表现出色，但闭源LLMs高昂的财务成本及潜在的安全问题成为其进一步推广的障碍。近期，开源LLMs作为有力的替代方案崭露头角，并在多种应用中展现出积极的成果。

近年来，大型语言模型（LLMs）在多个领域，如代码生成、数学推理、对话式人工智能及AI智能体等，已展现出卓越的能力。此类模型，例如OpenAI的GPT-4，在处理复杂任务及长时间推理时表现突出，因此吸引了广泛的研究关注与开源社区的兴趣。为支持智能体任务，已有多项框架（如AutoGPT、OpenAgent、BOLAA、XAgent、LangChain）被设计并获得了显著关注。然而，值得注意的是，许多现有的智能体仍依赖于封闭源码的LLM API，这主要源于大多数开源模型在应对复杂智能体任务时表现不佳。

在AI领域，构建具备逻辑推理、战略决策以及人类沟通能力的智能体一直被视为长远追求。大规模语言模型（LLMs）凭借丰富的知识储备和出色的泛化能力，在构建智能体方面呈现出巨大的应用潜力，并已推动了一系列近期的技术突破。这些基于LLM的智能体在网页浏览、复杂电子游戏及现实应用等多个场景中均展现出卓越的性能。在多智能体环境中，它们更是展现了与人类相似的互动、零样本合作以及与对手竞争的能力。尽管已取得显著成就，但在面对复杂的决策任务，如多智能体游戏时，

对文本质量的评估，无论是源自语言模型还是人类编写，长久以来都构成了一项艰巨且备受瞩目的任务。传统的评估方法，主要依赖于人工标注，因其在时间和成本上的高昂投入而显得尤为苛刻。为了解决这一问题，已有基于n-gram的自动评估指标如Rouge、BLEU和METEOR等被提出。然而，这些方法在应对开放式文本生成或需要特定领域专业知识的场景中，与人类判断的契合度相对较低。

近年来，大型语言模型（LLMs），例如GPT-3.5和GPT-4，已在语言生成、理解、推理及泛化方面展现出了显著的性能（OpenAI，2023；Touvron等，2023）。一种新兴的趋势是通过微调这些LLMs，来增强其在特定任务中的表现，例如根据用户指令生成响应或针对特定领域定制输出。尽管人类反馈方法（Ouyang等，2022）为微调提供了一种潜在途径，但其过程可能劳动强度大且耗时。因此，研究者们开始探索使用如GPT-3.5或GPT-4等强大模型的数据进行微调的创新方法（Chiang等，2023；

在数字化时代，对于迅速传播的错误信息，其核实与明确的核实解释同等重要，这对于构建用户信任体系具有决定性意义。缺乏解释往往导致用户对事实核查结果的质疑与不信任。特别是在多跳事实核查中，解释生成的必要性更为凸显，因其涉及跨越多重证据片段的复杂推理过程，旨在准确评估声明的真实性。尽管大型语言模型（LLMs）在多样化文本生成方面展现出了显著能力，但其在生成可信事实核查解释方面的性能尚未得到充分的研究与验证。可信性在此处显得尤为重要，错误的解释不仅无法纠正错误信息，反而可能加剧其影响，从而引发一系列严峻挑战。

在Auto中，每种智能体分别扮演不同的角色。ConversableAgent 作为最高级别的智能体抽象，为所有具体智能体提供了基础的通信能力。这包括发送和接收信息的能力，以及基于这些信息进行内部状态更新的能力。所有从这个类派生的智能体都继承了这些基本功能（通用类）。通用性和灵活性：作为一个通用类，ConversableAgent 提供了必要的模板和方法，使得开发者可以根据特定的应用需求快速开发出新的智能体。这降低了开发复杂多智能体系统的难度和工作量。

最近，ReAct、SayCan、Toolformer、HuggingGPT、生成性智能体和WebGPT等研究已明确验证了基于大型语言模型（LLM）核心构建自主决策智能体的可行性。这些方法依托LLMs生成文本，以及API调用中可实施于环境中的“动作”。鉴于其依赖含有庞大参数的模型，目前这类方法主要依赖于上下文示例作为智能体的教学方式，因传统优化方案如基于梯度下降的强化学习，对计算和时间资源的需求极为庞大。本文提出一种Reflexion的替代方案，该方案借助语言强化协助智能体从前述错误中汲取经验。

论文提出了Dynamic LLM-Agent Network（DyLAN）框架，该框架设计用于在动态互动架构中支持大语言模型（LLM）代理进行多轮交互。该方法旨在克服当前静态架构下多个LLM代理集成方式的局限性，静态架构不仅限制了模型的泛化能力，还依赖于人为设定的代理角色。在DyLAN中，每个节点代表一个智能体，可以在特定的时间步上活动。这些节点能够处理来自其他智能体的信息，并基于当前的任务查询生成响应。节点可以是增强了工具的LLM智能体，一个独立的工具（如脚本或专用模型），或一组工具的集合。每个节点。