cholesky分解_Cholesky分解

Cholesky 应该怎么念，o(╯□╰)o，我感觉比较像‘瞅乐死骑’，毕竟这是 名字，哈哈哈哈

这个矩阵非常重要，之前在最小二乘法也见过它，如果：

无解，也就是

不成立， A 不可逆，我们无法计算

.

那么我们会想要最小化：

也就是：

这个 Error 函数对

求导：

也就是需要解：

(1)详细推导过程可以参见：least_squares_SP

(1)式也就是：

(1)式 一定可以推出 (2) 式么？

一定存在逆矩阵么？也许不一定，所以才有Tikhonov regularization

对称

对称，首先

是对称阵，记得

：

它的转置等于自身，所以对称。

正定矩阵

先看定义：

这里的 A、M 我们暂时只考虑它是实数矩阵内，如果A是满秩的方阵，明显

正定矩阵:

实际上看看到另外一些地方，对于正定矩阵，它给的定义就是：

给定一个大小为 n x n 的实对称矩阵 A ，若对于任意长度为 n 的非零向量 x ，有

恒成立，则矩阵 A 是一个正定矩阵。

对于实半正定矩阵，我们可以有Cholesky分解。

Cholesky分解

当 A 是一个SPD (real Symmetric positive definite matrix）的时候，注意这里的A 不是上面的 A（只是我用了同一个字母），就可以分解成 lower triangle 矩阵 L 和它的转置也就是 upper triangle

.

可以用归纳法证明这个分解是一定存在并且是唯一的，可以参见：

How to prove the existence and uniqueness of Cholesky decomposition?

之前的高斯消元法中我们写过：

当A正定的时候：

在实际中，如果矩阵是正定的，使用 Cholesky分解 会比 LU分解 更加高效，更加数值稳定。

计算

计算的话，我们可以用 scipy.linalg.cholesky

import numpy as np
from scipy import linalg

a = np.array([[4, 12, -16],
              [12, 37, -43],
              [-16, -43, 98]])

L = linalg.cholesky(a, lower=True) # 默认计算 upper， 所以指定 lower = True

# array([[ 2.,  0.,  0.],
#       [ 6.,  1.,  0.],
#       [-8.,  5.,  3.]])

np.allclose(np.dot(L, L.T) , a) # 验证计算