2022吴恩达机器学习（Deep learning）课程对应笔记22：过拟合与正则化

2022吴恩达机器学习（Deep learning）课程对应笔记22

过拟合与正则化

更新时间：2023/03/21

回归例子

先认识一下什么事过拟合和欠拟合，如下图：

• 术语积累：欠拟合=高偏差
• 过拟合=高方差

分类例子

上面是回归模型的例子，下面看一下分类模型的例子

解决过拟合

下面就介绍一下怎么解决过拟合的方法

1. 收集更多的训练集数据，也就是扩大训练集。
2. 有选择性的使用特征，也就是说不用把每个特征都考虑上，只考虑关键特征。（但是存在把有用的特征丢弃的风险）
3. 正则化技术：减小参数的大小。比如减小参数$\vec{w}$和$b$的大小，使得最终的预测结果不被某一两个对应参数（$w_i,w_j$）最大的特征（$x_i,x_j$）取值影响。
   
   
   
   下面是小结一下：

正则化代价函数

下面看下应该如何正则化代价函数：

这是一个直观的例子，当$w_3,w_4$，很大的时候整个模型的loss也会很大

• 正则化的思想其实就是得到一个参数值更小的模型($samllvalues{w}_1,w_2,...,w_n,b$)，就越难过拟合。
• 通常来说并不知道那个特征的影响更大，也就是不知道惩罚哪个特征，所以一般会惩罚所有特征对应的参数。所构建的具有正则化项的参数如下图中的公式所示。（通常不会惩罚偏置项）
  
  在正则化的过程中正则化系数$\lambda$的取值对正则化项非常重要，

正则化线性回归

下面是加入了正则化项的线性回归的梯度下降过程，b的更新过程咩有变化，只是参数$w_j$的更新过程发生了变化

下面是具体的带正则化项的线性回归模型梯度下降过程。在更新参数$w_j$时带正则化项的作用，实际上就是更新$w_j$时，把$w_j$收缩为原来的$1-\alpha \frac{\lambda }{m}$倍，其中$\alpha$表示学习率，$\lambda$表示正则化系数，$m$表示数据集大小。

下面是具体的损失函数计算过程

正则化逻辑回归

逻辑回归的正则化参数如下