本文是关于Stanford大学Andrew Ng教授《机器学习》课程的学习笔记，主要探讨过拟合问题及其解决方案——正则化。通过线性回归和逻辑回归的例子，解释了正则化如何通过调整成本函数，引入正则化参数λ，以降低模型复杂度，防止过拟合。介绍了正则化线性回归和正则化逻辑回归的代价函数以及梯度下降和正规方程的修改方法。
**************************************
注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结很容易遗忘，根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检测、推荐系统及大规模机器学习等内容。
**************************************
正则化
过拟合问题
拟合问题举例-线性回归之房价问题：
下图左中右分别是：欠拟合、合适的拟合、过拟合
什么是过拟合(Overfitting):
如果我们有非常多的特征，那么所学的Hypothesis有可能对训练集拟合的非常好，但是对于新数据预测的很差。
拟合问题举例-逻辑回归：
与上一个例子相似，依次是欠拟合，合适的拟合以及过拟合：
过拟合问题往往源自过多的特征，例如房价问题，如果我们定义了如下的特征：
对于训练集，拟合的会非常完美：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
