LLM - 关于 KL 散度的一些理解

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/146189437

---

KL 散度 (Kullback-Leibler Divergence) 是衡量两个概率分布之间差异的一种非对称性度量工具。基于信息论原理，用于量化一个概率分布相对于另一个概率分布的信息损失程度。KL 散度值越小，表示两个分布越相似；反之，值越大，说明分布差异越大。

参考：KL-divergence as an objective function

1. KL 散度