qq_39494059的博客

奇异值分解就是把一个矩阵分解成正交矩阵乘以对角矩阵乘以正交矩阵的形式,即 即AUΣVTAUΣVT。

矩阵作为基的空间：所有秩一的矩阵都可以表示为列向量乘以行向量。：图是节点和边的集合，其中两个点的距离是它们之间边的最小数目。这种图之所以被称为小世界，是因为任意两个人只需要通过很少的人就能互相认识，所以说世界真的很小。

对A进行位移,他的特征向量不变,特征值变成A特征值减去s。它的正交化按照上面那个顺序就可以,但是不能跳着来。,那么A和B相似,他们有相同的特征值。会近似在krylov空间之内。

需要注意的是如果有一个列向量完全等于一个前面的正交基或者是非常接近,会导致在减去那个方向分量时把整个向量都减掉,最后得到一个零向量或者是在数值上逼近零的向量,这会导致后面单位化出现除零的bug。只需要前两个基向量组合.所以最后整体A矩阵在基向量上的系数矩阵就是一个上三角矩阵。QR分解是把一个矩阵拆成正交矩阵和上三角矩阵的积,即。通过这样转化得到的正交基对于A有特殊的意义,因为。第一个方向选A的第一个列向量就可以。第二方向把A的第二个列向量减去它在。方向上的分量就可以得到和。垂直的方向,后面的同理。

所以上面问题用矩阵的语言可以这么描述,给一个正交矩阵Q,它把数据A(数据按列堆叠成的矩阵)转换到新坐标系Q下,新数据是QA,它的协方差矩阵中。在常用的降维用法中,最后几个维度可以删掉,因为他们没什么变化,在理想的情况下他们都是一个常数,对决策完全不提供有用的信息。接下来确定第一维度后,就可以确定剩下的了.因为第一行和第一列已知,现在可以把协方差矩阵第一行和第一列去掉,开始让新的。PCA的几何意义是找出一个新坐标系,在这个新坐标系下第一个维度是变化是最大的,最后一个维度变化是最小的.小,但凡不小模长都会比。

最小二乘法本质上是最小化观测值和预测值的差异的平方和。通过求导可以得到使得上面公式取得最小值的。通过求导在导数等于0处可获得,最小二乘法就是最小化这个东西。

最后几行是特征值0对应的特征向量,本质上是无效维度,因此它乘以中间那个右下角全0的对角矩阵不会损失信息,然后再用。上面这个是有几何意义的,即把x转换到。的转置再对非0元素取倒数,它的意义是当A把x变到它的。里面,伪逆再把x变回来。

矩阵乘法A=BC有这么几种理解方式。

- $det(A-λI)=0$ - $A=X\Lambda X^{-1}$ - $A^2=X\Lambda^2 X^{-1}$ - 特征值之和等于迹 - 特征值之积点云行列式的值 - 逆矩阵的特征向量不变,特征值变成导数

完整的n维空间有r个维度已经被行空间所表达，那么剩下的n-r的维度就是零空间所能表达的子空间。矩阵秩为r，其实就是有r个互补相交的行向量，它们就是行空间的有效基向量，其他基向量可以被他们线性组合得出，所以是无效的，所以我们可以认为行空间本质上是r维子空间。列向量，因此最终的A列向量和B的列向量等长，简单地说就是他们行数相同，并且矩阵A列数目等同于C的列数目，也就是说他们的列数相同。转置，可以得到矩阵A的行向量，是C行空间的线性组合，其中系数就是B的行向量。列 线性组合的系数恰好是C的第。

这就是LU分解,把A拆成下三角矩阵L和上三角矩阵U的积。这个操作用矩阵语言描述就是,原始矩阵减去下面这个矩阵。所以原始矩阵用消元的方式可以表示成如下形式。回到最初对矩阵乘法理解方式,可以知道。矩阵乘法还有一种理解方式是。同理,对下面两行再消元得到。

xTSxSATA。

奇异值分解还有另外一种理解方式,不过需要先知道一个知识,正交矩阵族是一个旋转矩阵,同样的旋转矩阵也是正交矩阵。(对角矩阵转置是不变的,并且对角矩阵可以把矩阵的平方丢进去当做每个元素的平方)(对角矩阵转置是不变的,并且对角矩阵可以把矩阵的平方丢进去当做每个元素的平方)另外还有一种延伸的分解方式是 A=SQ,即把矩阵拆成对称矩阵和正交矩阵的积。是r×r,这里面是r是矩阵的秩,他把一些0元素给去掉了。另一种形式是u是m×m,v是n×n,一种形式是U是m×r,V是n×r,它有一个特殊版本是对称矩阵的分解,

向量的范数是向量元素的n次方的和再开n方,默认二范数就是平方和再开平方.矩阵的F范数(Frobenius)是所有元素平方和再开方。矩阵的核范数(nuclear)是所有特征值的和。这表示A_k是离A最近的k秩矩阵。这三个范数都支持之前的范数表达式。矩阵的二范数是最大的那个特征值。

举个例子高维空间中的直线,直线本质上自由度只有1,只留一个维度就够了,其他两个维度完全可以丢了,但是如果直接丢,会失去一些信息,但是如果找出新的坐标系,让直线沿着坐标轴,那么其他两个轴就都是常数,那么就可以随便丢了。主成分分析步骤是计算数据的协方差矩阵,然后按照特征值大小堆叠特征向量,堆叠后的特征向量乘以原始数据得到新的数据,新数据维度顺序和重要性是同序的,并且最后几个维度是最次要的,属于是丢弃之后让数据失真最小的维度。要注意的是,我这里原始数据行是维度,列是数据.最终的Q的特征向量是按行堆叠的。

下面这张图描述了在二维坐标系中各个范数等于1的向量集合，黑色那条是1范数，红色是2范数，绿色是无穷大范数，蓝色的是1/2范数。作为一个对角矩阵,什么单位向量乘以它会最大,自然是(1,0,0…我们回到现在的问题,二范数其实就是计算向量的长度,旋转是不会改变向量长度的,所以我们可以把U丢了,然后因为下面除以。最大特征值的开方,也是对角矩阵中最大的那个元素,这里视频里没有推导,我自己推一下。的长度,是对x的归一化,如果x不是单位向量,那么除以。向量,即最大特征值对应的右奇异向量,而它的最大值是。