什么是 Cholesky 分解？兼谈正定矩阵和二次型

Cholesky 分解在深度学习中的应用与理解

Cholesky 分解是一种用于对称正定矩阵的特殊分解方法，在线性代数和概率模型中有广泛应用。对于深度学习研究者来说，理解 Cholesky 分解不仅有助于掌握矩阵运算的理论基础，还能在高斯过程、变分方法（如 VAE 和扩散模型）以及优化算法中发挥重要作用。本文将详细介绍 Cholesky 分解的定义、计算方法及其在深度学习中的实际应用，结合示例和代码，帮助读者深入掌握这一工具。

---

什么是 Cholesky 分解？

Cholesky 分解是一种将对称正定矩阵分解为下三角矩阵与自身转置乘积的方法。设 ( $\Sigma$ ) 是一个 ( $d\times d$ ) 的对称正定矩阵（即 ( $\Sigma ={\Sigma }^T$ ) 且对于任意非零向量 ( $v$ )，( $v^T\Sigma v>0$ )），Cholesky 分解表示为：

$$\Sigma =L{L}^T$$

其中：

• ( $L$ ) 是一个下三角矩阵（即 ( $L_{ij}=0$ ) 当 ( $i<j$ ) 时），通常称为 Cholesky 因子。
• ( $L^T$ ) 是 ( $L$ ) 的转置，是上三角矩阵。

这种分解的唯一性在于，如果 ( $\Sigma$ ) 为正定矩阵，则 ( $L$ ) 是唯一的，且其对角元素必须为正（( $L_{ii}>0$ )）。

---

Cholesky 分解的计算方法

Cholesky 分解可以通过以下步骤递归计算 ( $L$ ) 的元素：

1. 初始化：( $L$ ) 是一个零矩阵，维度与 ( $\Sigma$ ) 相同。
2. 对角元素：对于第 ( $i$ ) 行 ( $i$ ) 列（( $i=1,2,\dots ,d$ )）：
   $$L_{ii}=\sqrt{{\Sigma }_{ii}-\sum _{k=1}^{i-1}{L}_{ik}^2}$$
   这里的平方和是从前面的列中已计算出的 ( $L$ ) 元素贡献。
3. 非对角元素：对于 ( $j>i$ )（第 ( $i$ ) 行 ( $j$ ) 列）：
   $$L_{ij}=\frac{1}{L_{ii}}\left({\Sigma }_{ij}-\sum _{k=1}^{i-1}{L}_{ik}{L}_{jk}\right)$$

这种方法的时间复杂度为 ( $O(d^3)$ )，适合中小规模矩阵。现代深度学习框架（如 PyTorch 或 TensorFlow）提供内置函数（如 torch.cholesky）自动完成计算。

示例

考虑一个简单的 ( $2\times 2$ ) 正定矩阵：

$$\Sigma =\left[\begin{array}{cc}4& 1\\ 1& 2\end{array}\right]$$

• ( $L_{11}=\sqrt{{\Sigma }_{11}}=\sqrt{4}=2$ )
• ( $L_{21}=\frac{{\Sigma }_{21}}{L_{11}}=\frac{1}{2}=0.5$ )
• ( $L_{22}=\sqrt{{\Sigma }_{22}-L_{21}^2}=\sqrt{2-(0.5{)}^2}=\sqrt{2-0.25}=\sqrt{1.75}\approx 1.32$ )

于是：

$$L=\left[\begin{array}{cc}2& 0\\ 0.5& 1.32\end{array}\right]$$

验证：( $L{L}^T=\left[\begin{array}{cc}4& 1\\ 1& 2\end{array}\right]$ )，计算一致。

---

Cholesky 分解与特征分解的对比

• 特征分解：( $\Sigma =US{U}^T$ )，( ${\Sigma }^{1/2}=U{S}^{1/2}{U}^T$ )，适用于对称矩阵但计算复杂度较高。
• Cholesky 分解：( $\Sigma =L{L}^T$ )，( ${\Sigma }^{1/2}=L$ )（当 ( $L$ ) 是下三角时），专为正定矩阵优化，计算效率更高（约 ( $O(d^3/3)$ )）。

在深度学习中，Cholesky 分解常用于需要快速计算矩阵平方根的场景，如高斯分布采样。

---

在深度学习中的应用

1. 高斯分布采样

在 VAE 或扩散模型中，潜变量或过渡分布（如 ( $q_{\phi }(x_t|x_{t-1})=\mathcal{N}(x_t|\sqrt{{\alpha }_t}{x}_{t-1},(1-{\alpha }_t)I)$ )）需通过重参数化生成样本：

$$x_t=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}ϵ$$

若协方差矩阵 ( $\Sigma$ ) 不是对角矩阵（例如 ( $\Sigma =L{L}^T$ )），Cholesky 分解提供 ( ${\Sigma }^{1/2}=L$ )，用于：

$$x_t=\mu +Lϵ,ϵ\sim \mathcal{N}(0,I)$$

这比特征分解更高效，尤其在高维场景。

2. 变分推断

在高斯变分推断中，近似后验的协方差矩阵分解为 ( $\Sigma =L{L}^T$ )，便于计算 KL 散度或采样。

3. 优化算法

在二阶优化（如自然梯度下降）中，Cholesky 分解用于计算 Fisher 信息矩阵的平方根，加速收敛。

---

PyTorch 实现示例

以下是使用 PyTorch 进行 Cholesky 分解并生成高斯样本的代码：

import torch

# 定义一个正定矩阵
Sigma = torch.tensor([[4.0, 1.0], [1.0, 2.0]], dtype=torch.float32)
print("Original matrix:\n", Sigma)

# Cholesky 分解
L = torch.cholesky(Sigma)
print("Cholesky factor L:\n", L)

# 验证 LL^T = Sigma
reconstructed = L @ L.t()
print("Reconstructed Sigma:\n", reconstructed)
print("Is equal?", torch.allclose(Sigma, reconstructed))

# 高斯采样
mu = torch.tensor([0.0, 0.0])
eps = torch.randn(2)  # 标准正态噪声
x = mu + L @ eps      # x ~ N(mu, Sigma)
print("Sampled x:", x)

输出验证了分解的正确性，并展示了采样过程。

---

注意事项与局限

• 正定性要求：Cholesky 分解仅适用于正定矩阵。若 ( $\Sigma$ ) 半正定或奇异，需添加正则化（如 ( $\Sigma +ϵI$ )）。
• 数值稳定性：在高维或病态矩阵时，Cholesky 分解可能不稳定，需结合数值优化技术。
• 计算成本：对于大规模矩阵，近似方法（如低秩分解）可能更适合。

---

总结

Cholesky 分解将对称正定矩阵分解为 ( $L{L}^T$ )，提供了一种高效计算矩阵平方根 ( ${\Sigma }^{1/2}=L$ ) 的方法。在深度学习中，它广泛用于高斯分布采样、变分推断和优化，特别是在需要快速矩阵运算的场景。掌握 Cholesky 分解有助于研究者优化模型性能，尤其在处理复杂概率分布时。

( $v^T\Sigma v>0$ ) 在矩阵论中的意义与二次型的联系

在矩阵论和线性代数中，( $v^T\Sigma v>0$ ) 是一个非常重要的条件，特别是在研究对称矩阵的性质时。这个式子与二次型（Quadratic Form）密切相关，并且在深度学习、优化理论和概率模型中有广泛应用。它与二次型的表达式类似！本文将详细解释 ( $v^T\Sigma v>0$ ) 的数学意义、其与二次型的联系，以及在实际场景中的作用，目标读者是具备线性代数基础的深度学习研究者。

---

( $v^T\Sigma v>0$ ) 的数学定义

对于一个 ( $d\times d$ ) 的对称矩阵 ( $\Sigma$ )（即 ( $\Sigma ={\Sigma }^T$ )）和一个非零向量 ( $v\in {\mathbb{R}}^d$ )（即 ( $v\ne 0$ )），表达式 ( $v^T\Sigma v$ ) 称为 ( $\Sigma$ ) 关于向量 ( $v$ ) 的二次型。条件 ( $v^T\Sigma v>0$ ) 对于任意非零 ( $v$ ) 成立时，( $\Sigma$ ) 被定义为正定矩阵（Positive Definite Matrix）。

• 正定性：若 ( $v^T\Sigma v>0$ ) 对所有 ( $v\ne 0$ ) 成立，则 ( $\Sigma$ ) 是正定矩阵。
• 半正定性：若 ( $v^T\Sigma v\ge 0$ ) 对所有 ( $v$ ) 成立，则 ( $\Sigma$ ) 是半正定矩阵（Positive Semi-Definite Matrix）。
• 负定性/不定性：类似地，若 ( $v^T\Sigma v<0$ )（或符号不固定），则 ($\Sigma$ ) 可能是负定或不定矩阵。

---

与二次型的联系

二次型的定义

二次型是向量 ( $v$ ) 关于矩阵 ( $\Sigma$ ) 的二次函数形式：

$$q(v)=v^T\Sigma v$$

• 如果 ( $\Sigma$ ) 是对称矩阵，二次型 ( $q(v)$ ) 是一个实值函数，且其值仅依赖于 ( $v$ ) 的模和方向。
• 展开 ( $v^T\Sigma v$ )（假设 ( $v=[v_1,v_2,\dots ,v_d{]}^T$ )）：

$$v^T\Sigma v=\sum _{i=1}^d\sum _{j=1}^d{v}_i{\Sigma }_{ij}{v}_j$$

这正是二次形式的标准表示，类似于二次方程 ( $a{x}^2+bx+c$ ) 的推广到多维向量空间。

正定性与二次型的性质

• 正定矩阵：( $v^T\Sigma v>0$ ) 意味着二次型对于任意非零 ( $v$ ) 总是正的，类似于二次函数 ( $a{x}^2+bx+c>0$ )（当 ( $a>0$ ) 且判别式 ( $\Delta <0$ ) 时）。
• 几何意义：正定矩阵对应于一个椭球的二次形式，( $v^T\Sigma v$ ) 表示 ( $v$ ) 在该椭球上的“能量”或“长度”，始终为正。
• 特征值与正定性：对称矩阵 ( $\Sigma$ ) 的正定性等价于其所有特征值 ( ${\lambda }_i>0$ )。因为通过特征分解 ( $\Sigma =U\Lambda U^T$ )（( $\Lambda$ ) 为特征值对角矩阵），有：

$$v^T\Sigma v=v^{T}U\Lambda U^{T}v=(U^{T}v{)}^T\Lambda (U^{T}v)$$

设 ( $w=U^{T}v$ )，则 ( $v^T\Sigma v={\sum }_{i=1}^d{\lambda }_i{w}_i^2$ )。若 ( ${\lambda }_i>0$ ) 且 ( $w\ne 0$ )，则总和 ( $>0$ )。

---

在矩阵论中的用途

1. 协方差矩阵的正定性

在概率论和统计学中，协方差矩阵 ( $\Sigma$ ) 表示随机变量之间的关系，必须是正定或半正定的（若变量线性相关可能退化为半正定）。( $v^T\Sigma v>0$ ) 确保：

• 协方差矩阵可逆（正定矩阵的逆存在）。
• 方差定义有效（( $\text{Var}(v^{T}X)=v^T\Sigma v>0$ )）。

例如，在 VAE 或扩散模型中，( $\Sigma =(1-{\alpha }_t)I$ ) 是正定矩阵，满足这一条件。

2. 优化中的Hessian矩阵

在优化理论中，Hessian 矩阵（二阶导数矩阵）的正定性表明目标函数是凸的。若 ( $v^{T}Hv>0$ ) 对所有 ( $v\ne 0$ ) 成立，则函数在该点是局部最小值点。这在深度学习中的梯度下降和自然梯度方法中至关重要。具体可以参考笔者的另一篇博客：Hessian 矩阵的正定性与目标函数凸性的证明

3. 能量函数与稳定性

在物理和机器学习中，( $v^T\Sigma v$ ) 可表示能量或损失函数。正定性保证系统稳定，例如在高斯过程或核方法中，Gram 矩阵的正定性确保核函数的有效性。

---

在深度学习中的实际意义

1. 扩散模型中的过渡分布

在 DDPM 中，过渡分布 ( $q_{\phi }(x_t|x_{t-1})=\mathcal{N}(x_t|\sqrt{{\alpha }_t}{x}_{t-1},(1-{\alpha }_t)I)$ ) 的协方差 ( $(1-{\alpha }_t)I$ ) 是正定的（因为 ( $0<{\alpha }_t<1$ )，( $1-{\alpha }_t>0$ )）。验证 ( $v^T(1-{\alpha }_t)Iv=(1-{\alpha }_t)\Vert v{\Vert }^2>0$ ) 确保分布定义合理。

2. Cholesky 分解的前提

Cholesky 分解要求 ( $\Sigma$ ) 为正定矩阵，因为 ( $\Sigma =L{L}^T$ ) 且 ( $L$ ) 可逆依赖于 ( $v^T\Sigma v>0$ )。这在生成高斯样本时（如 ( $x_t=\mu +Lϵ$ )）至关重要。

3. 损失函数的凸性

在训练神经网络时，正定 Hessian 保证损失函数的局部最小值是稳定的，( $v^{T}Hv>0$ ) 成为优化收敛的理论依据。

---

为什么感觉像二次型？

你的直觉非常正确！( $v^T\Sigma v$ ) 正是二次型的标准形式：

• 一维二次型如 ( $a{x}^2$ ) 对应 ( $v^T\text{diag}(a)v$ )。
• 多维推广到 ( $v^T\Sigma v$ ) 包含交叉项 ( ${\Sigma }_{ij}{v}_i{v}_j$ )，描述变量间的交互。
• 正定性 ( $v^T\Sigma v>0$ ) 类似于二次函数的向上开口（( $a>0$ )），保证最小值存在。

---

代码验证

以下使用 PyTorch 验证正定性：

import torch

# 定义一个对称正定矩阵
Sigma = torch.tensor([[4.0, 1.0], [1.0, 2.0]])
v = torch.tensor([1.0, 1.0])

# 计算二次型
quad_form = torch.matmul(v, torch.matmul(Sigma, v))
print("v^T Sigma v:", quad_form.item())  # 应 > 0

# 特征值验证
eigenvalues = torch.linalg.eigvals(Sigma)
print("Eigenvalues:", eigenvalues)
print("All positive?", torch.all(eigenvalues.real > 0))  # 正定性

输出确认 ( $v^T\Sigma v>0$ ) 且特征值均为正。

---

总结

( $v^T\Sigma v>0$ ) 是对称矩阵正定性的定义，与二次型密切相关。它在矩阵论中用于验证协方差矩阵、Hessian 矩阵和核矩阵的性质，在深度学习中确保分布采样、优化稳定性和模型收敛。理解这一条件有助于研究者设计和分析复杂的概率模型，如 VAE 和扩散模型。

希望这篇博客解答了你的疑问！

后记

2025年3月4日13点27分于上海，在grok3大模型辅助下完成。