过拟合,正则化,特征值,特征向量一些知识点

一.过拟合

1. 概念

2.判断方法

3.产生原因

4.解决方案

二.正则化的两种形式

1.公式

2.特点(区别)

三.特征值,特征向量

1.公式

2.具体解释

一.过拟合

1. 概念

过拟合是指为了得到一致假设而使假设变得过度严格。

2.判断方法

一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在训练数据外的数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。

3.产生原因:

		1.训练集的数量级要小于模型的复杂度(训练数据太少)
		2.训练集和测试集特征分布不一致；
		3.训练数据中存在噪音,噪音数据干扰过大，大到模型过分记住了噪音特征，反而忽略了真实的输入输出间的关系；
		4.权值学习迭代次数足够多,拟合了训练数据中的噪声和训练样例中没有代表性的特征。

4.解决方案:

		1.丢弃一些不能帮助我们正确预测的特征。可以手工选择保留哪些特征,或者使用一些模型选择的算法来帮忙。
		2.训练集越多，过拟合的概率越小。在计算机视觉领域中，增广的方式是对图像旋转，缩放，剪切&