2022吴恩达机器学习（Deep learning）课程对应笔记18：特征缩放

最新推荐文章于 2024-11-06 10:55:54 发布

bubu-_

最新推荐文章于 2024-11-06 10:55:54 发布

阅读量87

点赞数

分类专栏： 2022吴恩达最新机器学习课程文章标签：机器学习深度学习人工智能

本文链接：https://blog.csdn.net/airuohan_/article/details/129676216

版权

2022吴恩达最新机器学习课程专栏收录该内容

28 篇文章 7 订阅

订阅专栏

特征缩放是机器学习中优化梯度下降过程的一个重要步骤。文章介绍了当特征取值范围差异较大时，如何通过最大值缩放和均值归一化，或者Z-SCORE归一化来调整特征，使得模型参数对损失函数的影响更均衡，从而加速训练过程。

摘要由CSDN通过智能技术生成

2022吴恩达机器学习（Deep learning）课程对应笔记18

特征缩放

更新时间：2023/03/20
在这里插入图片描述

概述

本节将要介绍的内容是特征缩放，这一操作可以让梯度下降得更快。假设 $x_{1}$ 表示的是房间的大小 $x_{1}\in[300,2000]$ ， $x_{2}$ 表示房子的房间数量， $x_{2}\in[0,5]$
$House:x_{1}=2000,x_{2}=5,price=\$500k$
那么参数 $w_{1}$ 和参数 $w_{2}$ 的大小应该怎么设置呢？
显然 $w_{1}=50,w_{2}=0.1,b=50$ 是一个比较合理的设置（下图右）
在这里插入图片描述

当一个特征的可能取值范围很大时，如 $x_{1}$ 表示的是房间的大小 $x_{1}\in[300,2000]$ ，那么该特征对应的参数倾向于很小( $w_{1}$ 很小)
当一个特征的可能取值范围很小时，如 $x_{2}$ 表示房子的房间数量， $x_{2}\in[0,5]$ ，那么该特征对应的参数倾向于很小( $w_{2}$ 很大)

如下图，当输入特征size的取值范围很大，输入特征bedrooms很小时（如下图左），输入特征size对应的参数 $w_1$ 变化很小就会对模型的损失影响很大，输入特征bedrooms对应的参数 $w_2$ 变化很大对模型的损失影响都会很小（如下图右）。
在这里插入图片描述
上面提到的这个问题就会到最终 $J(w_1,w_2)$ 损失函数的图像是一个瘦长的椭圆，细小的 $w_1$ 和 $w_2$ 变化都会导致梯度来回振荡，最终导致收敛很慢。

在这里插入图片描述
那么一个有效的方法就是特征缩放，像上图一样将特征 $x_1$ 和 $x_2$ 归一化到同一个参数范围，那么对应的参数 $w_1$ 和 $w_2$ 对损失函数 $J(w_1,w_2)$ 的影响就会一样大，也就是实现了从椭圆到圆的转变。

在这里插入图片描述

下面是如何实现特征缩放

如下图是最大值缩放
在这里插入图片描述
下面是均值归一化
$x_1=\frac{x_1-\mu_1}{max_{(x_1)}-min_{(x_1)}},\ \ \ \ \ \ \ \ \ x_2=\frac{x_2-\mu_2}{max_{(x_2)}-min_{(x_2)}}$

Z-SCORE归一化：
$x_1=\frac{x_1-\mu_1}{\sigma_1},\ \ \ \ \ \ \ \ \ x_2=\frac{x_2-\mu_2}{\sigma_2}$

特征缩放的范围并没有严格的标准，下面都是可以的

在这里插入图片描述