模型复杂的原因:数据的特征和目标值之间的关系,不仅仅是线性关系。
根据结果现象判断 欠拟合还是过拟合。
特征选择
过滤式:低方差特征。
嵌入式:正则化,决策时,神经网络。
正则化的做法是:不断尝试减少高频次特征项的权重,使得模型更简单,更不易产生过拟合。
线性回归
此算法容易出现过拟合,因为需要在训练集数据上表现的更好。
L2正则化,岭回归(一种带有正则化的线性回归算法)
正则化力度符号:λ
正则化力度对模型参数的影响
正则化力度取值可以是一个0~1之间的数,可以是2位3位小数,也可以是1~10之间的数,通过网格搜索选择一个效果比较好的值。