关键字:正则化参数
前言:有关代价函数,在笔记2和3逻辑回归和线性回归里面已经提到过。这里就不再过多介绍。
一、定义
因为训练模型中有些数据本来就有误差,所以不必把每个数据都考虑进去。
如果真的完全拟合到每一个数据,那么模型会变得很奇怪,导致新的预测数据来时,对应的预测值往往显然错误。这个现象就是过拟合。与过拟合相对的是欠拟合,这个模型就是非常简单的那种,导致连最基本的训练数据都训练不好。
二、过拟合的解决方法
Solution1:很多时候因为特征太多了,所以可以人工考虑去掉一些特征。比如模型选择算法
Solution1:正则化:保留所有特征,减少量级或者参数
三、正则化
3.1、概念:
这个是一种过拟合的现象(其实只要二次就可以了,不需要四次)
方法就是使得seta3和seta4尽可能小,才能对结果不怎么产生影响。最后两项依然存在。但是这个时候模型就会简单很多。
但是因为一开始不知道该挑选哪些参数使得他们尽可能小,所以得考虑代价函数。在原代价函数加入正则化项,此时记代价函数形式如下:(注意从1开始的,lamana叫正则化参数,可以理解为对参数的惩罚)
lamana控制方括号的两项,控制是将训练集尽可能的拟合还是将参数的作用控制的更小
3.2、正则化线性回归
此时采用梯度下降法如下
或者:正规化(加上一项)
3.3.正则化逻辑模型
梯度下降法
这是观看吴恩达网易云机器学习系列做的笔记
图片来源于视频课件