DeepSeek 背后的数学：GRPO

DeepSeek 背后的数学：GRPO

原创 川后静波 吴建明利驰数字 2025年02月22日 22:05 陕西

GRPO 的数学原理其实就像一套高效的评分系统，它帮助 DeepSeek 模型在一组回答中迅速找到最佳答案。通过比较每个回答与其他回答的优劣，模型能清楚地知道哪些回答更准确、更符合要求，从而不断调整和优化自己的策略。

这样一来，就不需要额外的评估器，既节省了计算资源，又能在实际应用中不断提高推理能力。

一、GRPO 的基础

1. 什么是 GRPO？

Group Relative Policy Optimization（GRPO） 是一种专为提升大语言模型推理能力设计的强化学习（RL）算法。与传统方法不同，GRPO 不依赖