正交矩阵的保范性:正交变换不改变向量的长度(范数)

在推导使用SVD分解解方程时，用到了正交矩阵的保范性这一性质。

1、正交矩阵定义

${\mathbf{A}}^{⊺}$A=A${\mathbf{A}}^{⊺}$ = E

2、正交矩阵的保范性

正交矩阵对向量进行正交变换，且正交变换不改变向量的长度(范数)：
设X的正交变换为AX，则AX的范数为：

由此可见AX的范数与X的范数相等。

3、SVD求解方程中的应用

A的SVD分解：A=UDVT (T代表转置)
其中，U，V为正交矩阵。

(1)、用奇异值解超定方程Ax=b时，会用到求||Ax-b||最小值，||Ax-b||=||UDVTx-b||

接下来，||UDVT-b||=||DVTx-UTb||

上式正是应用了正交变换的保范性质
将向量UDVT-b左乘正交矩阵UT。

(2)、约束条件||x||=1的条件下，求使||Ax||最小的x。

设A=UDVT ，那么问题变成求||UDVTx||的最小值。
由正交矩阵的保范性：

||UDVTx||=||DVTx|| ，||x|| = ||VTx||

问题变成在约束条件IIVTxll=1下，求||DVTx||的最小值。
令y=VTx，则问题简化为
约束条件||y||=1下，求||Dy||的最小值