Cholesky分解

Cholesky 应该怎么念，o(╯□╰)o，我感觉比较像‘瞅乐死骑’，毕竟这是 名字，哈哈哈哈

ATA

这个矩阵非常重要，之前在最小二乘法也见过它，如果：

Ax=b

无解，也就是 x=A−1b 不成立， A 不可逆，我们无法计算 A−1 .

那么我们会想要最小化：

||Ax−b||2

也就是：

||Ax−b||2=(Ax−b)⋅(Ax−b)=(Ax−b)T⋅(Ax−b)=(xTAT−bT)⋅(Ax−b)=(xTATAx−2bTAx+bTb)

这个 Error 函数对 x 求导：

∂E∂x=2ATAx−2ATb=0

也就是需要解：

(1)ATAx=ATb

(1)详细推导过程可以参见：least_squares_SP

(1)式也就是：

(2)x=(ATA)−1ATb

(1)式 一定可以推出 (2) 式么？ (ATA)−1 一定存在逆矩阵么？也许不一定，所以才有Tikhonov regularization

对称

对称，首先 ATA 是对称阵，记得 (AB)T=BTAT ：

(ATA)T=AT(AT)T=ATA

它的转置等于自身，所以对称。

正定矩阵

先看定义：

为正定矩阵M为正定矩阵⟺xTMx>0 for all x∈Rn∖0

为半正定矩阵M为半正定矩阵⟺xTMx≥0 for all x∈Rn

这里的 A、M 我们暂时只考虑它是实数矩阵内，如果A是满秩的方阵，明显 ATA 正定矩阵:

xTATAx=(Ax)T⋅Ax=||Ax||2

实际上看看到另外一些地方，对于正定矩阵，它给的定义就是：

给定一个大小为 n x n 的实对称矩阵 A ，若对于任意长度为 n 的非零向量 x ，有 xTAx>0 恒成立，则矩阵 A 是一个正定矩阵。

对于实半正定矩阵，我们可以有Cholesky分解。

Cholesky分解

当 A 是一个SPD (real Symmetric positive definite matrix）的时候，注意这里的A 不是上面的 A（只是我用了同一个字母），就可以分解成 lower triangle 矩阵 L 和它的转置也就是 upper triangle LT .

可以用归纳法证明这个分解是一定存在并且是唯一的，可以参见：

How to prove the existence and uniqueness of Cholesky decomposition?

之前的高斯消元法中我们写过：

A=PLU

当A正定的时候：

A=LLT

在实际中，如果矩阵是正定的，使用 Cholesky分解 会比 LU分解 更加高效，更加数值稳定。

计算

(412−161237−43−16−4398)=(200610−853)(26−8015003)

计算的话，我们可以用 scipy.linalg.cholesky

import numpy as np
from scipy import linalg

a = np.array([[4, 12, -16],
              [12, 37, -43],
              [-16, -43, 98]])

L = linalg.cholesky(a, lower=True) # 默认计算 upper， 所以指定 lower = True

# array([[ 2.,  0.,  0.],
#       [ 6.,  1.,  0.],
#       [-8.,  5.,  3.]])

np.allclose(np.dot(L, L.T) , a) # 验证计算