佚失的诗篇

策略梯度RL算法作为一种可微代理优化方法，其天然倾向于 “在无法探索时缩小探索范围”，这导致将 RL 用于 LLM post training 时难以从本质上提升性能

Wasserstein距离是一种基于最优传输思想的概率分布度量方法，本文介绍了其定义、一维情况下基于CDF的计算方法和与CRPS损失的关系

本文从统计检测理论出发，建立了小目标检测问题的数学模型。通过将检测问题形式化为二元假设检验，推导出基于KL散度的可检测性度量，为小目标检测限提供了量化依据。

很多现实问题的原始特征分布都可以看作多维高斯分布，本文以数据特征服从多维高斯分布的多分类任务这一理想场景为例，从理论层面分析数据特征和分类问题难度的关系

本文以自然梯度法的推导为脉络，贯穿黎曼空间、黎曼流形、黎曼度量、费舍尔信息矩阵、KL 散度和自然梯度法等概念。这是 TRPO 算法理论的重要基础

介绍线性空间、度量空间、赋范向量空间、内积空间、巴拿赫空间、希尔伯特空间和再生核希尔伯特空间

从推导和理解玻尔兹曼分布开始，推出 softmax 函数，最后介绍基于能量的模型

拉格朗日乘子法是解约束优化问题的常用方法，它和 KKT 条件、Slater 条件、拉格朗日对偶性等概念常常一起出现，本文梳理说明相关概念，并从几何与代数两个角度加以解释

从代数和几何角度对勒让德变换和共轭函数进行详细说明

梳理几个信息论相关概念信息量、信息熵、条件熵、互信息、交叉熵、KL散度、JS散度

详细说明最小二乘法的应用场景、原理、求解方法、局限性等内容，并从三个角度阐释了最小二乘法的本质

文章目录1. 引入：函数展开2. 泰勒展开2.1 一元函数泰勒展开2.2 二元函数泰勒展开2.3 n元函数泰勒展开3. 黑塞矩阵（海森矩阵）1. 引入：函数展开设函数 y=f(x)y = f(x)y=f(x) 在点 x0x_0x0​ 处可导，则在点 x0x_0x0​ 的某邻域内，可以用下式表示原函数值f(x)=f(x0)+f′(x0)(x−x0)+o(x−x0),   x→x0f(x) = f(x_0)+f'(x_0)(x - x_0) + o(x - x_0),\sp

参考：《数值最优化方法》—— 高立Jensen不等式初步理解及证明Jensen不等式讲解与证明文章目录1. 凸集与凸函数1.1 凸集1.2 凸函数2. Jensen不等式2.1 Jensen不等式2.2 证明2.3 扩展1. 凸集与凸函数1.1 凸集定义：设集合 C⊂RnC \subset \mathbb{R}^nC⊂Rn，若对 ∀x,y∈C\forall x,y \in C∀x,y∈C，有θx+(1−θ)y∈C,θ∈[0,1] \theta x + (1-\theta)y.