人工智能基础（十五）欠拟合过拟合、正则化线性模型

欠拟合与过拟合

欠拟合
在训练集上表现不好，在测试集上表现不好
解决方法：
继续学习
1、添加其他特征项
2、添加多项式特征

过拟合
在训练集上表现好，在测试接上表现不好
解决方法：
1、重新清洗数据集
2、增大数据的
3、正则化
4、减少特征纬度

正则化
通过限制高次项的系数来防止过拟合
L1 正则化
理解：直接把前面的系数变为0
代表：Lasso回归
L2正则化
把高次项前面的系数变为特别小的值
代表：岭回归

正则化
岭回归
就是把系数前面添加平方项
然后限制系数值的大小
alpha值越小，系数值越大，α越大

lasso回归
对系数值进行绝对值处理
由于绝对值在顶点处不可导，所以进行计算的过程中产生很多0，最后得到结果为：稀疏矩阵

Elastic Net 弹性网络
是前两个内容的综合
设置了一个r，
如果r = 0，-- 岭回归
如果r = 1，-- lasso回归

Early stopping
通过限制错误率的阈值，进行停止