本篇主要介绍的是超定方程组的求解，如果你不想看繁琐的推导过程，你可以直接看红字部分的结论！
1. 齐次线性方程组 Ax = 0
对于方程 A x = 0 \bm A \bm x = 0 Ax=0，在我们实际的使用中，多数情况下只考虑方程数量多于未知元素的情形——超定方程组。
通过数学表示，可以将超定方程表示为： A x = 0 \bm A \bm x = 0 Ax=0， A \bm A A是 m × n m \times n m×n，列满秩，且 m > n m > n m>n
第一种解法:（求导）
首先，要求解
A
x
=
0
\bm A \bm x = 0
Ax=0，我们可以想象当你方程个数多于未知数时，一般就不存在精确解了。
A x = 0 \bm A \bm x = 0 Ax=0 存在精确解的条件是：rank( A \bm A A) < n n n
既然不存在精确解，那么我们就可以找一组近似解 x + \bm x^+ x+使得: x + = arg min ∥ A x ∥ 2 (1) \bm x^+ = \argmin \|\bm A \bm x\|^2 \tag1 x+=argmin∥Ax∥2(1)
显然，这种思路是正确，既然我们不能得到精确的解，那么我们就找一组最符合情况的解，也就是使得（1）式最小的 x \bm x x。
要想使得（1）式最小，很显然， x = 0 \bm x=0 x=0是它的解。但是多数情况下，我们对0解没有兴趣，我们想要的是非零解。
那么，对于（1）式，我们就不能任由它肆意的减小，必须给它加一些限制，让它在满足一个条件的情况下获得最小的 x + \bm x^+ x+。于是就想到既然不要0解，那么就要求 x \bm x x不能为零。于是可以构建一个带约束的最小二乘问题： x + = arg min ∥ A x ∥ 2 , subject to ∥ x ∥ 2 = 1 (2) \bm x^+ = \argmin \|\bm A \bm x\|^2, \text{subject to} \|\bm x\|^2=1 \tag{2} x+=argmin∥Ax∥2,subject to∥x∥2=1(2)
如果 x \bm x x是方程 A x = 0 \bm A\bm x=0 Ax=0的一个解，那么 k x k\bm x kx显然也是( k k k是任意标量)，所以就可以限制 ∥ x ∥ = 1 \|\bm x\|=1 ∥x∥=1
对于（2）式这种带约束的优化问题，可以通过拉格朗日乘数法构建无约束优化：
L
(
x
,
λ
)
=
∥
A
x
∥
2
+
λ
(
1
−
∥
x
∥
2
)
=
x
T
A
T
A
x
+
λ
(
1
−
x
T
x
)
(3)
L(\bm x,\lambda)=\|\bm A\bm x\|^2+\lambda(1-\|\bm x\|^2)=\bm x^T\bm A^{T} \bm A \bm x+\lambda(1-\bm x^T\bm x) \tag3
L(x,λ)=∥Ax∥2+λ(1−∥x∥2)=xTATAx+λ(1−xTx)(3)
为了获得
L
(
x
,
λ
)
L(\bm x,\lambda)
L(x,λ)的极值，可以分别对
x
\bm x
x和
λ
\lambda
λ求偏导数：
∂
L
(
x
,
λ
)
∂
x
=
2
A
T
A
x
−
2
λ
x
(4)
\frac{\partial L(\bm x,\lambda)}{\partial \bm x} = 2\bm A^T\bm A\bm x - 2\lambda \bm x \tag 4
∂x∂L(x,λ)=2ATAx−2λx(4)
∂
L
(
x
,
λ
)
∂
λ
=
1
−
x
T
x
=
0
(5)
\frac{\partial L(\bm x,\lambda)}{\partial \lambda}= 1-\bm x^T\bm x =0\tag 5
∂λ∂L(x,λ)=1−xTx=0(5)
令（4）式为0，得
A
T
A
x
=
λ
x
(6)
\bm A^T\bm A\bm x=\lambda\bm x \tag 6
ATAx=λx(6)
通过（6）式可以知道，要想获得 L ( x , λ ) L(\bm x,\lambda) L(x,λ)的极值，就必须使得 x , λ \bm x,\lambda x,λ满足（6）。观察不难发现， λ , x \lambda,\bm x λ,x分别是 A T A \bm A^T\bm A ATA的特征值和特征向量。
A
T
A
\bm A^T \bm A
ATA的特征值和特征向量很多，而且都满足（6）式子，那么究竟哪一个特征值和特征向量可以使（2）式取得极小值呢？
∥
A
x
∥
2
=
x
T
A
T
A
x
=
x
T
λ
x
=
λ
x
T
x
=
λ
(7)
\|\bm A \bm x\|^2 = \bm x^T \bm A^T\bm A \bm x=\bm x^T\lambda\bm x = \lambda\bm x^T\bm x = \lambda \tag 7
∥Ax∥2=xTATAx=xTλx=λxTx=λ(7)
不妨来看一下（7）式的推导，我们已经知道 A T A \bm A^T \bm A ATA的特征值和特征向量中的一个会使得（2）式子取得极小值，所以（7）式的推导就用上了特征值和特征向量的性质，也就是（6）式： A T A x = λ x \bm A^T \bm A \bm x=\lambda\bm x ATAx=λx，另外 x T x = 1 \bm x^T \bm x =1 xTx=1。
到目前为止，答案很显然了，最小的 λ \lambda λ的最小值就对应 ∥ A x ∥ 2 \|\bm A\bm x\|^2 ∥Ax∥2的最小值。
所以，对于超定方程 A x = 0 \bm A\bm x =0 Ax=0的解就是 A T A \bm A^T \bm A ATA最小特征值对应的特征向量。
第二种解法（SVD分解）
对于超定方程组
A
x
=
0
\bm A \bm x = 0
Ax=0，依然如前述一样，构建一个有约束的优化问题：
arg min
∥
A
x
∥
,
subject to
∥
x
∥
=
1
(8)
\argmin\|\bm A \bm x\|,\text{subject to}\|x\|=1 \tag 8
argmin∥Ax∥,subject to∥x∥=1(8)
对
A
\bm A
A进行SVD分解获得：
A
=
U
D
V
T
(9)
\bm A = \bm U\bm D \bm V^T \tag 9
A=UDVT(9)
将（9）式子带入（8）式，得
arg min
∥
A
x
∥
=
arg min
∥
U
D
V
T
x
∥
=
arg min
∥
D
V
T
x
∥
(10)
\argmin\|\bm A\bm x\|=\argmin\| \bm U\bm D \bm V^T \bm x\|=\argmin\|\bm D\bm V^T\bm x\| \tag{10}
argmin∥Ax∥=argmin∥UDVTx∥=argmin∥DVTx∥(10)
之所以可以去掉 U \bm U U，是利用了正交矩阵的保范性。 ∥ U D V T x ∥ = ∥ D V T x ∥ ， ∥ V T x ∥ = ∥ x ∥ \|\bm U\bm D \bm V^T \bm x\|=\|\bm D\bm V^T\bm x\|，\|\bm V^T\bm x\| = \|\bm x\| ∥UDVTx∥=∥DVTx∥，∥VTx∥=∥x∥
这里可以令:
y
=
V
T
x
(11)
\bm y = \bm V^T\bm x \tag{11}
y=VTx(11)
则（10）式就等价于：
arg min
∥
D
y
∥
(12)
\argmin \|\bm D \bm y\| \tag{12}
argmin∥Dy∥(12)
那么问题就变成了，在 ∥ y ∥ = 1 \|\bm y\|=1 ∥y∥=1的条件下最小化 ∥ D y ∥ \|\bm D \bm y\| ∥Dy∥
矩阵 D \bm D D是由 A \bm A A矩阵SVD分解的特征值组成的对角矩阵，我们假设对角矩阵的特征值按照降序排列，那么势必最后一个特征值是最小。所以当我们的 y = ( 0 , 0 , ⋯ , 1 ) \bm y=(0,0,\cdots,1) y=(0,0,⋯,1)时不但满足 ∥ y ∥ = 1 \|\bm y\|=1 ∥y∥=1，而且还可以使得 ∥ D y ∥ \|\bm D\bm y\| ∥Dy∥最小。
如果你不理解。为什么 y = ( 0 , 0 , ⋯ , 1 ) \bm y=(0,0,\cdots,1) y=(0,0,⋯,1)，你可以自己拿一个降序排列的对角矩阵试一下
那么，根据（11）式可知：
x
=
V
y
(13)
\bm x = \bm V\bm y \tag{13}
x=Vy(13)
而 V \bm V V是矩阵 A \bm A A的SVD分解之后特征向量组成的矩阵，每一个列都是一个特征向量，根据前面得到的 y = ( 0 , 0 , ⋯ , 1 ) \bm y=(0,0,\cdots,1) y=(0,0,⋯,1)，那么 x \bm x x就是 V \bm V V的最后一列。
所以，超定方程 A x = 0 \bm A\bm x =0 Ax=0的解，就是对 A \bm A A进行SVD分解之后的最小特征值对应的特征向量。
在求导的方法中，我们得到的是 A T A \bm A^T \bm A ATA最小特征值对应的特征向量，这与SVD分解方法道理是一样的，SVD求 V \bm V V也就是通过 A T A \bm A^T\bm A ATA
2. 非齐次线性方程组 Ax=b
对于
A
x
=
b
\bm A \bm x = \bm b
Ax=b
依然有多种推导方法，这里我就介绍SVD分解的方法吧！
主要是我懒，不想再推导了，哈哈
有了前面的铺垫，问题就变得简单很多了！
我们的目标是最小化：
arg min
∥
A
x
−
b
∥
(14)
\argmin \|\bm A\bm x-\bm b\| \tag{14}
argmin∥Ax−b∥(14)
由于，这里不再存在恒0解，所以就无需加入约束了。
首先对
A
\bm A
A进行SVD分解，然后带入（14）式，得：
arg min
∥
A
x
−
b
∥
=
arg min
∥
U
D
V
T
x
−
b
∥
(15)
\argmin \|\bm A\bm x-\bm b\| =\argmin \|\bm U\bm D\bm V^T\bm x-\bm b\| \tag{15}
argmin∥Ax−b∥=argmin∥UDVTx−b∥(15)
根据正交矩阵保范性，（15）式可以进一步简化：
arg min
∥
U
D
V
T
x
−
b
∥
=
arg min
∥
D
V
T
x
−
U
T
b
∥
(16)
\argmin \|\bm U\bm D\bm V^T\bm x-\bm b\|=\argmin\|\bm D \bm V^T\bm x-\bm U^T\bm b\| \tag{16}
argmin∥UDVTx−b∥=argmin∥DVTx−UTb∥(16)
令
y
=
V
T
x
\bm y=\bm V^T\bm x
y=VTx和
b
′
=
U
T
b
\bm b' =\bm U^T\bm b
b′=UTb，于是（16）式变成了：
arg min
∥
D
y
−
b
′
∥
(17)
\argmin\|\bm D\bm y-\bm b'\| \tag{17}
argmin∥Dy−b′∥(17)
矩阵 D \bm D D是 A \bm A A矩阵SVD分解之后的特征值对应的对角矩阵。
显然 D y \bm D\bm y Dy离 b ′ \bm b' b′越近，那么（17）式就会越小。而离 b ′ \bm b' b′最近的向量 D y = ( b 1 ′ , b 2 ′ , ⋯ , b n ′ , 0 , ⋯ , 0 ) T \bm D\bm y=(b'_1,b'_2,\cdots,b'_n, 0,\cdots,0)^T Dy=(b1′,b2′,⋯,bn′,0,⋯,0)T
这里由于特征值组成的对角矩阵，对角线上不一定全部非零，所以只有非零项才会对(17)式的最小值有影响。
于是就可以通过
y
i
=
b
i
′
d
i
,
(
i
=
1
,
⋯
,
n
)
y_i=\frac{b'_i}{d_i},(i=1,\cdots,n)
yi=dibi′,(i=1,⋯,n)
这里 d i , ( 1 , ⋯ , n ) d_i,(1,\cdots,n) di,(1,⋯,n)是 A A A矩阵SVD分解之后的特征值
这里的 n n n等于矩阵 A \bm A A的秩。
于是就得到了
y
\bm y
y
y
=
(
b
1
′
d
1
,
b
2
′
d
2
,
⋯
,
b
n
′
d
n
)
(18)
\bm y=(\frac{b'_1}{d_1},\frac{b'_2}{d_2},\cdots,\frac{b'_n}{d_n}) \tag{18}
y=(d1b1′,d2b2′,⋯,dnbn′)(18)
则，
A
x
=
b
\bm A \bm x = \bm b
Ax=b的超定解为：
x
=
V
y
(19)
\bm x = \bm V\bm y \tag{19}
x=Vy(19)
3. 参考资料
《Multiple View Geometry in Computer Vision》
扫一扫
918
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
