前言
成功的机器学习应用不是拥有最好的算法,而是拥有最多的数据!
一、过拟合的处理
1. 获得更多的训练数据
使用更多的训练数据是解决过拟合问题最有效的手段,因为更多的样本能够让模型学习到更多更有效的特征,减小噪声的影响。
2. 降维
即丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征,或者使用一
些模型选择的算法来帮忙
3. 正则化
正则化(regularization)的技术,保留所有的特征,但是减少参数的大小(magnitude)
,它可以改善或者减少过拟合问题。
4. 集成学习方法
集成学习是把多个模型集成在一起,来降低单一模型的过拟合风险。
二、欠拟合的处理
1. 添加新特征
当特征不足或者现有特征与样本标签的相关性不强时,模型容易出现欠拟合。通
过挖掘组合特征等新的特征,往往能够取得更好的效果。
2. 增加模型复杂度
简单模型的学习能力较差,通过增加模型的复杂度可以使模型拥有更强的拟合能
力。例如,在线性模型中添加高次项,在神经网络模型中增加网络层数或神经元
个数等。
3. 减小正则化系数
正则化是用来防止过拟合的,但当模型出现欠拟合现象时,则需要有针对性地减
小正则化系数。
三、正则化
1. 𝑳𝟏正则化:实际就是加上了一个
w
w
w集合中每个值的绝对值的和。
2. 𝑳𝟐正则化:实际就是加上了
w
w
w集合中每个值平方的和
3. Elastic Net网络:把𝑳𝟏正则化和 𝑳𝟐正则化融合起来
4. 𝑳𝟏正则化和𝑳𝟐正则化对比
图上面中的蓝色轮廓线是没有正则化损失函数的等高线,中心的蓝色点为最优解,左图、右图分别为𝑳𝟏、𝑳𝟐正则化给出的限制。可以看到在正则化的限制之下, 𝑳𝟐正则化给出的最优解w是使解更加靠近原点,也就是说𝑳𝟐正则化能降低参数范数的总和。 𝑳𝟏正则化给出的最优解w是使解更加靠近某些轴,而其它的轴则为0,所以𝑳𝟏正则化能使得到的参数稀疏化。
四、误差
备注: y ( i ) y^{(i)} y(i)和 y ^ ( i ) \hat{y}^{(i)} y^(i)分别表示第𝑖个样本的真实值和预测值,𝑚 为样本个数。
1. 均方误差(Mean Square Error,MSE)
2. 平均绝对误差(Mean Absolute Error,MAE)
3. 均方根误差 (Root Mean SquareError,RMSE)
4. R方 [𝑅𝑆𝑞𝑢𝑎𝑟𝑒𝑑(𝑟2𝑠𝑐𝑜𝑟𝑒)]
备注:越接近于1,说明模型拟合得越好;补充三个公式
总结
本人也才刚刚开始学习,请大家多多包涵。大家在学习机器学习之前可以先学习下线性代数