欠拟合，过拟合，正则化，归一化问题小结。

 概念：

欠拟合：拟合的函数和训练集误差较大，我们称这种情况为欠拟合

拟合：拟合的函数和训练集误差较小，我们称这种情况为合适拟合

过拟合：拟合的函数和训练集误差完美匹配，我们称这种情况为合适拟合

欠拟合原因：

欠拟合问题，根本的原因是特征维度过少，导致拟合的函数无法满足训练，误差大。

 解决方法：

1.添加其他特征项,有时候我们的模型出现欠拟合的时候是因为特征不够导致的，可以添加其他的

特征项来很好的解决。

2.添加多项式特征，这个在机器学习算法里面用的很普通，例如线性模型通过添加二次或者三次项使

模型泛化能力更强。

3.减少正则化参数，正则化是防止过拟合的，但是现在模型出现了欠拟合，则需要减少正则化参数。

过拟合：过拟合问题，根本的原因是特征维度过多，导致拟合的函数完美的经过训练集，但是对新数据的预测结果

则较差。

解决方法：

1.重新清洗数据：导致过拟合的一个原因也可能是数据不纯导致的，如果出现过拟合就需要清洗数据

2.增大数据的训练量，还有一个原因是我们用于训练的数据量太小导致的，训练数据占总数据的比例过小。

3.采用正则化方法。正则化方法包括L0正则，L1正则和L2正则，而正则一般是在目标函数之后加上对应的范数。

4.采用dropout方法。这个方法在神经网络里面很常用。通俗点说就是dropout方法在训练的时候让神经元以一定的概率不工作。

正则化（标准化），归一化（正规化）：对数据进行预处理的两种方式，目的是让数据便于计算和获得更加泛化的结果。

常用正则化：

L1范式-所有参数W绝对值之和

L2范式-所有参数W的平方和

总结：L1范式会趋向于产生较小的特征，在特征选择时很有用，L2会选择更多特征，但对应权值接近于0.

数据的标准化和归一化：

数据的标准化是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标中经常会用到，

去除数据的单位限制，将其转化为无量纲的数值，便于不同单位或量级的指标能够进行比较和加权。

其中最典型的就是数据归一化处理，既将数据统一映射到[0,1]区间上。

目前数据标准化方法有多种，归结起来可以分为直线型方法，折线型方法，曲线型方法。

归一化的目标：

1.把数字变为（0，1）之间的小数

主要为了数据处理方便提出来的，把数据映射到0-1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。

2。把有量纲表达式变成无量纲表达式

归一化是一种简化计算的方式，及将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。

归一化后的两个好处

1.提升模型收敛速度

2.提升模型的精度

几种梯度下降

BGD:批梯度下降，每次用所有样本计算梯度

MBGD，小批梯度下降，每次选一部分数据进行梯度计算

SGD:随机梯度下降，每次只用一个样本计算梯度

常用梯度变种：Momentum，Nesterov，Adagrad，Adadelta，Adam