斯坦福公开课《机器学习》笔记3——过拟合、避免过拟合的损失函数

1.过拟合（overfitting）

1）定义

过拟合：如果有很多特征变量，则训练出来的假设函数模型会对训练样本拟合的很好，但是对于新加入的数据，假设函数模型不能拟合的很好，又称为High Variance。

欠拟合：则是假设函数不能对训练样本进行很好的拟合，又称为High Bias。

2）如何处理过拟合：

1>减少特征变量的数量（但是这样也减小了数据的信息） 

手动减小特征变量数量

利用算法自动减小特征变量数量

2>正则化算法