自我原则点评调优(SPCT)方法：革新 AI 模型优化模式

一、引言

在人工智能不断发展的当下，模型的优化与性能提升始终是研究的核心方向。传统 AI 模型往往依赖海量训练数据来提高性能，然而这种模式不仅成本高昂，还面临着数据获取、标注等诸多难题。在此背景下，深度求索（DeepSeek）与清华大学携手推出的自我原则点评调优（Self - Principled Critique Tuning，SPCT）技术横空出世，为 AI 模型的优化开辟了全新路径，通过在推理阶段实现动态优化，有望彻底颠覆传统模式。

二、SPCT 技术架构

SPCT 技术构建于一个精妙的 “原则合成 - 响应生成 - 批判过滤 - 原则优化” 递归架构之上。在这一架构中，各个环节紧密相连、相互协作，共同推动 AI 模型在推理过程中实现实时自我修正

原则合成：模型依据输入的问题和场景，生成一系列用于后续判断和生成响应的基础原则。这些原则并非固定不变，而是能够根据具体情况灵活调整，为后续的处理提供了多样化的视角和准则。

响应生成：基于生成的原则，模型进一步生成针对输入问题的回答或解决方案。这一过程中，原则起到引导和约束的作用，使得生成的响应更具针对性和合理性。

批判过滤：对生成的响应进行批判性审查，依据之前确定的原则以及模型自身的评判机制，筛选出不合理或质量较低的部分进行过滤。这一环节就像是一个严格的质量把控关卡，确保只有高质量的响应才能进入下一步。。

原则优化：根据批判过滤的结果，对之前生成的原则进行优化和调整。如果发现某些原则导致了不合理的响应，模型会对这些原则进行修正，以便在后续的推理过程中生成更优的结果。通过这样的递归操作，模型不断进化，输出结果的准确性和可靠性得到持续提升。

三、SPCT 方法的实施阶段

（一）拒绝式微调冷启动阶段

此阶段的核心任务是让生成模型（GRM）适应多样化的输入类型，并掌握以正确格式生成原则和点评内容的能力。与以往工作中混合使用不同格式的单个、成对和多个回答的 RM 数据不同，这里采用点式 GRM，这种方式能够在相同格式下灵活地对任意数量的回答进行奖励生成，大大提升了模型对不同输入的适应性。

在数据构建方面，研究团队不仅使用通用指令数据，还从具有不同回答数量的 RM 数据中采样，用于预训练 GRM 在给定查询与回答下的轨迹。同时，制定了统一的拒绝策略：若模型预测的奖励与真实奖励不一致（即错误），或者该组查询与回答在所有 N_RFT 次采样中全部预测正确（意味着过于简单），则拒绝该轨迹。此外，为了提高预测奖励与真实奖励的一致性，引入提示式采样，将相关信息附加到 GRM 的提示语中。不过，这种提示采样在某些情况下可能会简化点评生成过程，这也为后续的在线强化学习提供了必要性和潜在优势。

（二）基于规则的在线强化学习阶段

在这一阶段，通过引入规则奖励机制，模型持续优化其生成的原则和点评内容，进而提升推理阶段的可扩展性。具体来说，采用基于规则的结果奖励，在 rollout 过程中，GRM 根据输入查询与回答生成原则与点评，然后提取预测奖励并通过准确性规则与真实奖励进行对比。与传统方式不同，这里不再使用格式奖励，而是采用更高的 KL 惩罚系数，以确保输出格式正确且避免产生严重偏差。这种奖励函数激励 GRM 通过在线优化生成的原则与点评内容，使其能够更加准确地区分最优回答，从而显著提升推理阶段的可扩展性。而且，这种奖励信号能够无缝对接任何偏好数据集与标注的 LLM 回答，极大地增强了模型的通用性。

四、DeepSeek - GRM 模型的卓越性能展现

在测试过程中，搭载 SPCT 技术的 270 亿参数的 DeepSeek - GRM 模型展现出了令人惊叹的性能。通过每查询 32 次采样的推理计算，该模型达到了与 671B 规模模型相媲美的水平。这一成果充分证明了 SPCT 技术在提升模型性能方面的巨大潜力，打破了以往人们对于模型参数规模与性能之间关系的固有认知，即较小参数规模的模型通过先进的优化技术也能实现超高的性能表现。

该模型的硬件感知设计融合了混合专家系统（MoE），这一设计使得模型在处理复杂任务时能够动态选择专家网络，有效减少计算量，提升处理复杂任务的效率和灵活性。同时，它支持 128k token 的上下文窗口，单查询延迟仅为 1.4 秒，这对于需要实时响应的应用场景，如实时机器人控制、智能客服等，具有极为重要的意义，能够为用户提供流畅、高效的交互体验。

五、SPCT 技术的显著优势

（一）大幅降低成本

从训练成本来看，以 DeepSeek - GRM 模型为例，其训练成本仅约 1.2 万美元，相较于同类动辄数百万美元成本的模型，实现了巨大的成本优化。这主要得益于 SPCT 技术减少了对海量训练数据的依赖，以及在训练过程中的高效算法和优化策略。在人力成本方面，SPCT 技术减少了 90% 的人工标注需求。传统的 AI 模型训练往往需要大量人力进行数据标注，而 SPCT 通过创新的技术架构和训练方式，让模型能够在较少人工干预的情况下进行有效的自我优化，极大地降低了人力成本。

（二）环保节能

在能耗方面，相较于传统方法，SPCT 的能耗降低了 73%。随着 AI 技术的广泛应用，能耗问题日益受到关注，SPCT 技术在这方面的优势使其更加符合可持续发展的理念，为大规模部署 AI 模型提供了更环保的选择。

（三）拓展应用场景

由于其出色的性能和低延迟设计，SPCT 技术为实时机器人控制等动态场景提供了新的可能性。在实时机器人控制中，需要机器人能够快速、准确地对环境变化做出响应，SPCT 技术支持的模型能够满足这一要求，实现更加精准、高效的控制。在智能客服领域，低延迟和准确的回答能够提升用户体验，SPCT 技术让模型能够快速理解用户问题并给出高质量的回答，增强了智能客服的实用性和可靠性。

六、未来展望

SPCT 技术的出现为 AI 领域带来了新的活力和发展方向。在未来，随着对该技术研究的不断深入和完善，有望在更多领域得到广泛应用。例如，在医疗领域，辅助医生进行疾病诊断，通过实时对大量医疗数据的分析和推理，提供准确的诊断建议；在金融领域，用于风险评估和投资决策，快速分析市场动态和风险因素，为投资者提供合理的投资方案。随着硬件技术的进一步发展，SPCT 技术与新型硬件的结合也将为模型性能带来更大的提升空间，推动 AI 技术迈向更高的发展阶段。