偏差、方差、SVD、PCA、LDA

偏差和方差的概念：
偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。

方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。
原文网址:https://www.zhihu.com/question/20448464

SVD原文网址:http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html

PCA和LDA原文网址:http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html

LDA的原理是，将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况; 分类的目标是，使得类别内的点距离越近越好（集中），类别间的点越远越好。

PCA更像是一个预处理的方法，它可以将原本的数据降低维度，而使得降低了维度的数据之间的方差最大（也可以说投影误差最小)。可以有效地降低数据的维度，也可以有效地去除噪声的干扰。
PCA的两种方法:
方差最大化（最好的k维特征是将n维样本点转换为k维后，每一维上的样本方差都很大。）
最小误差法(样本点投影到直线上的点的方差最大。)

当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线性变化可能没法通过图片来表示，但是可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变换）。也就是之前说的：提取这个矩阵最重要的特征。总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。