线性方程组的解
(1)如果n>m,那么未知数的个数大于方程数。解不唯一而且有一个解矢量空间
(2)如果m=n,那么只要A可逆便有唯一解
(3)如果m>n,那么方程数个数大于未知数。方程一般无解,除非b是A的列的线性组合
最小二乘解
满秩:m>=n,且A的秩是n。寻找一个向量 x x 使得最小
||Ax−b||=||UDVTx−b||=||DVTx−UTb||=||Dy−b′|| | | A x − b | | = | | U D V T x − b | | = | | D V T x − U T b | | = | | D y − b ′ | |
⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢d10⋮0d20⋮0⋱0⋮0dn0⋮0⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎡⎣⎢⎢⎢⎢y1y2⋮yn⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢b′1b′2⋮b′nb′n+1⋮b′m⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥ [ d 1 d 2 ⋱ d n 0 0 0 0 ⋮ ⋮ ⋮ ⋮ 0 0 0 0 ] [ y 1 y 2 ⋮ y n ] = [ b 1 ′ b 2 ′ ⋮ b n ′ b n + 1 ′ ⋮ b m ′ ]
显然,最小二乘解为: yi=b′i/di y i = b i ′ / d i , x=Vy x = V y降秩方程组: rank(A)<n r a n k ( A ) < n
最小二乘解为: di≠0 d i ≠ 0 , yi=b′i/di y i = b i ′ / d i 。否则, yi=0 y i = 0 。通解是 x=Vy+λr+1vr+1+⋯+λnvn x = V y + λ r + 1 v r + 1 + ⋯ + λ n v n 。( yi>r y i > r 不重要, diyi d i y i 都是0, Vy是最小范数解 V y 是 最 小 范 数 解 )
伪逆
U是m∗n,D是n∗n,V是n∗n U 是 m ∗ n , D 是 n ∗ n , V 是 n ∗ n
- 秩为n的m×n方程组 Ax=b A x = b 的最小二乘解由 x=A+b x = A + b 给出。在降秩方程组情形, x=A+b x = A + b 是使得||x||最小化的解,即最小范数解
- 用正规方程解线性最小二乘
求最小化范数 ||Ax−b|| | | A x − b | | 的向量 x x 。任务是在A的列空间中寻找最接近b的那个矢量。问题解x满足,差与A的列空间垂直(可以对基进行单位正交化加以证明)。因此,AT(Ax−b)=0 A T ( A x − b ) = 0(ATA)x=ATb ( A T A ) x = A T b
因为 ATb A T b 在 ATA A T A 的列空间中,所以 x x 有解
的列空间 ATAx∈ATx A T A x ∈ A T x 。又 rank(A)=rank(ATA) r a n k ( A ) = r a n k ( A T A ) ,所以 ATA A T A 的列空间等于 AT A T 的列空间
证明:
- 如果m×n矩阵A的秩为n,那么 A+=(ATA)−1AT A + = ( A T A ) − 1 A T
- 加权线性最小二乘问题: (ATCA)x=ATCb ( A T C A ) x = A T C b
齐次方程组的最小二乘解
- 求使
||Ax||最小化并满足||x||=1的x
|
|
A
x
|
|
最
小
化
并
满
足
|
|
x
|
|
=
1
的
x
:
||UDVTx||=||DVTx||=||Dy|| | | U D V T x | | = | | D V T x | | = | | D y | |
在条件 ||y||=1 | | y | | = 1 下,最小化 ||Dy|| | | D y | | 。因为D是降序排列的一个对角矩阵,所以, y=(0,⋯,0,1) y = ( 0 , ⋯ , 0 , 1 ) 肯定是一个解。 x=Vy x = V y 就是V的最后一列。
其他问题
求x,它最小化||Ax||并满足||x||=1和Cx=0
在条件||x||=1和x=Gx’下最下化||Ax||
在条件||Cx||=1下最小化||Ax||