常用数学概念总结

基础有点差导致很多数学概念记不太清，遇到一个记一个吧

大津算法
方差、协方差、相关系数
大佬总结协方差、相关系数详解
方差就是 X - X_avg的平方的数学期望即var(X) = E((X-X_avg)^2)
表示成样本西格玛和的形式如下图

协方差：方差是考虑一维的，比如只考虑X这个字段，协方差是二维的，同时考虑X，Y两个字段，同时物理含义是两个字段的相关程度
协方差是 （X-X_avg）*（Y -Y_avg）的数学期望，如下图

这里是对于样本的协方差，就是修正的协方差，分母是n-1

协方差矩阵：维度更高的时候，用协方差矩阵来表示每个字段两两之间的相关程度，是一个是对称矩阵，对角线是每个字段的方差，其他的为对应两个字段的协方差。
下图是协方差矩阵的例子，产生方式是堆叠后的样本矩阵乘自己的转置再乘系数，其中这里的平均值为0所以没有写出来，实际里面是（ai-0）(bi-0)这种形式。

相关系数：

就是协方差除以X，Y的标准差，目地是实现归一化，协方差的大小与X-X_avg的大小相关，因此协方差是绝对大小，不方便拿来衡量相关性，这时候都除以两个标准差，就去掉了幅度大小的影响，变成了相对大小，把协方差归一化到了（-1，1）范围内，可用来衡量相关程度的大小了

实对称矩阵常用性质
1）实对称矩阵不同特征值对应的特征向量必然正交。
2）设特征向量λ重数为r，则必然存在r个线性无关的特征向量对应于λ，因此可以将这r个特征向量单位正交化。
3）实对称矩阵A的特征值都是实数，特征向量都是实向量。
4）n阶实对称矩阵A必可对角化，且相似对角阵上的元素即为矩阵本身特征值。

实对称矩阵变换成对角矩阵的相似变换P的求法
求出实对称矩阵的特征值和特征向量，将特征向量单位对角化，因为上面的性质，且正交矩阵的转置等于正交矩阵的逆，因此单位正交化的特征向量组成的一组基就是P

分清投影和基变换
求A到B向量上的投影，就是求A和单位矩阵B的内积（就是A和B的内积除以B的模）
将一个笛卡尔坐标系的向量变换到某组基上，先把这组基单位化，然后分别求向量在基上每个向量的投影，为了方便实现，可以写成这些基竖直方向堆叠，然后乘上向量的转置，得到的就是在新基下的坐标。
比如把笛卡尔坐标系下的（3，2）用新的一组基（1，1）（-1，1）来表示，首先把这组基单位化，然后竖直堆叠起来，如下图所示，然后利用矩阵乘法就能获得新基下的坐标。

对于投影和这种矩阵乘法的形式不理解可以这么考虑，例如求（1，1）和（2，2）的内积，就是12+12=4，
而换成矩阵乘法的形式 就变成了（2，2）（1，1)^T，同样也是 12+1*2 = 4，可以看出只不过是换了个计算形式方便计算了，物理意义还是内积。