Python scikit-learn，欠拟合、过拟合，正则化 (特征选择)，岭回归(带正则化的线性回归,解决过拟合)

欠拟合(underfitting)---训练误差大，测试误差也大---模型过于简单(特征太少)

过拟合(overfitting)---训练误差小，但测试误差大---模型过于复杂(特征太多,使用了复杂的非线性关系；训练样本有误、过少)

---

过拟合的解决办法：
1、增加训练样本数
2、进行特征选择、特征降维，消除嘈杂特征，消除关联性大的特征(很难做)
3、交叉验证（让所有数据都有过训练）
4、正则化(也属于特征选择)

---

L2正则化的思想（减少某些特征的影响(权重)）：

正则化力度越大，权重(系数)越趋近于0：