主成分分析 pca svd

无偏估计

$\overline{x}$是采样的平均值

$\mu$ 是实际期望值

粗略来说：$\sum (x_i-\overline{x}{)}^2<\sum (x_i-\mu {)}^2$

所以要用n-1增大左边

推导过程需要$E[(\overline{X}-\mu {)}^2]=\frac{{\sigma }^2}{n}$我还理解不了就不写了。qwq

协方差

$Cov(X,Y)=\frac{1}{n-1}\sum (x_i-\overline{x})(y_i-\overline{y})$

$Conv(X,X)$就是方差了。

协方差矩阵

多个向量x1,x2,x3…xn

各个向量之间的协方差组成协方差矩阵

$\begin{array}{ccc}cov1\ast 1& .& cov1\ast n\\ .& .& .\\ covn\ast 1& .& covn\ast n\end{array}$

以下都是提前期望化为0后的

PCA

协方差矩阵对角化，选特征值最大那个

X是一个列一个样本

PX等同于让X的基变为P的每一行

解释：设a为P第一行为单位向量。x为X第一列
a和x的内基等于于x在a上的投影

（为什么矩阵的东西都是我能明白为啥，但是就是想不明白实际上是为啥555。

找一组基P让PX的协方差矩阵为对角矩阵时，各个方向相关性最小，自己方向上方差却最大。

$D_X$不是算每个样本之间的协方差矩阵，而是样本每一个属性组成的m（矩阵数目）维向量！！！！！

$$\begin{gathered} D_Y=\frac{1}{n}Y{Y}^T \\ =P{D}_X{P}^T \end{gathered}$$

P的每一行是$D_X$特征向量

（学到了一个道理，与其空想不如举一个二维样本组的例子化成一维）

SVD

PCA 的一种方法（？

A不一定刚好nn

A分解成$U\sum V^T$

$A^T=V{\sum }^T{U}^T$

$A{A}^T=U\sum {\sum }^T{U}^T$

$A^{T}A=V{\sum }^T\sum V^T$

$\sum {\sum }^{T}and{\sum }^T\sum$都是对角矩阵

两个都为对称函数且刚好为对角化后的矩阵形式，对这两个对角化就能求出U（列向量为第一个的特征向量）V（列向量为第二个的特征向量）和$\sum$(m,n)的对角线的平方

取U（m,m）前k列，V(n,n)前k列（也就是V转置的前k行）

SVD有迭代处理法避免计算两个A的乘