偏差和方差理论

1、偏差衡量了模型的预测值与实际值之间的偏离关系。通常在深度学习中，我们每一次训练迭代出来的新模型，都会拿训练数据进行预测，偏差就反应在预测值与实际值匹配度上，形象理解为“偏离实际值的距离”；方差描述的是训练数据在不同迭代阶段的训练模型中，预测值的变化波动情况，即每个预测值与预测均值差的平方和的再求平均数，可以认为是预测值之间的离散程度。

2、测试均方误差的期望 ＝ 方差 ＋ 偏差的平方 + 误差，一般来说，随着模型复杂度的增加，方差会逐渐增大，偏差会逐渐减小。

3、训练误差是在训练阶段的误差，即预测曲线与训练数据之间的误差，而测试误差是训练得到的预测曲线在预测新数据时形成的误差。一个训练误差很小的模型可以达到0误差，但是其测试误差可能很大。也就是出现了过拟合（overfitting），模型很适合这套训练数据，但如果用测试数据来检验模型，就会发现泛化能力差，准确度下降。

4、岭回归的目标函数在一般的线性回归的基础上加入了正则项，在保证最佳拟合误差的同时，使得参数尽可能的“简单”，使得模型的泛化能力强。正则项一般采用一，二范数，使得模型更具有泛化性，同时可以解决线性回归中不可逆情况，比如二范数对应的岭回归。Lasso回归采用一范数来约束，使参数非零个数最少。而Lasso和岭回归的区别很好理解，在优化过程中，最优解为函数等值线与约束空间的交集，正则项可以看作是约束空间。可以看出二范的约束空间是一个球形，一范的约束空间是一个方形，这也就是二范会得到很多参数接近的值，而一范会尽可能非零参数最少。

5、三维椭球pca降维后是二维的椭圆。

6、对单个特征进行归一化

<