小论线性变换

任何一个线性变换都可以用一个矩阵$A$来表示。

EIG分解

特征值分解的适应情况是：

1. 矩阵是方阵
2. 矩阵有足够的特征向量
3. 如果矩阵有不相同的特征值 ，那么肯定有足够的特征向量

对角矩阵本质上是每个轴上的不耦合地伸缩。

$$A1 = \begin{bmatrix} 1 & 0 \\ 0 & 2 \end{bmatrix},A2 =\begin{bmatrix} 1 & 2 \\ 0 & 1 \end{bmatrix}$$

如果矩阵的特征向量充满了整个空间，并且都不为0，那么可以进行$S\Lambda S^{-1}$对角化分解。
矩阵对角化的本质就是换一组或者两组基底，使得在各组基底下的坐标不耦合，像对角矩阵那样伸缩

$$A = \begin{bmatrix} 1 & 2 \\ 0 & 2 \end{bmatrix},D=\begin{bmatrix} 1 & 0 \\ 0 & 2 \end{bmatrix}$$

对称矩阵，一定可以$S\Lambda S^{-1}$对角化，特征值是实数，特征向量标准正交

$$A = \begin{bmatrix} 1 & 2 \\ 2 & 2 \end{bmatrix},D=\begin{bmatrix} -0.5616 & 0 \\ 0 & 3.5616 \end{bmatrix}$$

特征值如果出现0（行列式等于0，不满秩），但是仍然有足够的特征向量，那么同样可以$S\Lambda S^{-1}$对角化。
但是这个时候因为特征值出现0，所以肯定存在某一个维度信息的丢失，表现在图里面就是一个平面图形经过$A$映射后只剩下一条线，无论我们选取的基是标准及还是特征向量基。

注意：特征向量是否足够与特征值有没有等于0的数没有必然联系。

$$A = \begin{bmatrix} 1 & 0 \\ 0 & 0 \end{bmatrix},D=\begin{bmatrix} 0 & 0 \\ 0 & 1 \end{bmatrix}$$

不能对角化，就意味着不能进行$S\Lambda S^{-1}$分解，分解的话会提示错误。

警告: 矩阵接近奇异值，或者缩放错误。结果可能不准确。RCOND = 5.551115e-17。

$$A = \begin{bmatrix} 1 & 2 \\ 0 & 1 \end{bmatrix},D=\begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}$$

SVD分解

如何将不能对角化的矩阵对角化，不存在奇异值为0的情况，矩阵是方阵

$$A = \begin{bmatrix} 1 & 2 \\ 0 & 1 \end{bmatrix},S=\begin{bmatrix} 2.4142 & 0 \\ 0 & 0.4142 \end{bmatrix}$$

特征值与奇异值

如果一个矩阵的秩为$r$，表明这个矩阵表示的空间是$r$维的，不等于0的特征值或者奇异值的个数是 r <script type="math/tex" id="MathJax-Element-636">r</script>，特征值或者奇异值的绝对值表示对应维度的方差，方差越大表明在这个维度上信息量越大，这个维度也就越重要。

参考代码

% 画图辅助函数
function [] = px(X,p1,p2)
plot(X(1,:),X(2,:),p1)
hold on
plot(X(1,:),X(2,:),p2)
hold off
axis equal
%axis([0 2 0 2])

% 主函数

%% 耦合与解耦
X = [0 0 1 1 0    
0 1 1 0 0];
% 对角矩阵
A2 = [1 0
    0 2];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;


% 矩阵耦合的情况
A2 = [1 2
    0 1];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;



%% 解耦，矩阵可以对角化，有足够的特征向量，按照SDS^{-1}分解

A2 = [1 2
    0 2];
% %D =
% 
%      1     0
%      0     2
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;

% 换坐标系，从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)

Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标，在新的坐标系下横坐标不变，纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')


gtext('A = [1 2 ; 0 1]')
%% 对称矩阵，一定可以对角化，特征值是实数，特征向量标准正交
% 对称矩阵就像对角矩阵那样
% 更深刻地去理解特征值与特征向量
% 特征值本质上是找到了一组完整的不缺失的特征向量后，可以进行解耦地伸缩变换，每个基上伸缩变换的系数
% 如果和压缩联系在一起的话，如果特征向量的长度都一样，那么特征值的绝对值越大表明在这个方向
% 的伸缩越大，理解成方差越大，因此可以利用这种分解去找到最大的方差，寻找如何包含更多的信息。
% D =
% 
%    -0.5616         0
%          0    3.5616
A2 = [1 2
    2 2];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;

% 换坐标系，从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)

Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标，在新的坐标系下横坐标不变，纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')


% 判断是不是符合
mean((D(1,1)*Xnew(1,:) - Xnew2(1,:) ) < 1e-5)
mean((D(2,2)*Xnew(2,:) - Xnew2(2,:) ) < 1e-5)

%% 特征值如果出现0（行列式等于0，不满秩）是什么含义呢
% 在某个基上的分量丢失，原来的系数不为0可能是因为和其他基耦合
% 对角化后D上存在着为0的元素，有几个0说明有几个维度丢失。
A2 = [1 0
    0 0];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;

% 换坐标系，从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)

Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标，在新的坐标系下横坐标不变，纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')


%% 不能对角化意味着什么
% 找不到上面那些好的性质，特征向量之间线性相关充满不了整个空间
% 但是只是在变换前后同一个基的条件下找不到
A2 = [1 2
    0 1];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;

% 换坐标系，从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)

Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标，在新的坐标系下横坐标不变，纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')

% 判断是不是符合
mean((D(1,1)*Xnew(1,:) - Xnew2(1,:) ) < 1e-5)
mean((D(2,2)*Xnew(2,:) - Xnew2(2,:) ) < 1e-5)


%% 如何将不能对角化的矩阵对角化，不存在奇异值为0的情况，矩阵是方阵
% SVD，构建起两个不同的坐标基
% 与特征值相对的，这里引入的是奇异值
% S =
% 
%     2.4142         0
%          0    0.4142
A2 = [1 2
    0 1];
[V,D] = eig(A2)
V

[U,S,V] = svd(A2);
Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(U)*A2*V*Xnew; %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标，在新的坐标系下横坐标不变，纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')

% 判断是不是符合
mean((S(1,1)*Xnew(1,:) - Xnew2(1,:) ) < 1e-5)
mean((S(2,2)*Xnew(2,:) - Xnew2(2,:) ) < 1e-5)