机器学习笔记03_加速梯度下降算法——特征放缩（feature scaling）

于 2023-10-02 16:02:50 发布
阅读量177 收藏 1
点赞数
文章标签： 机器学习 笔记 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73153984/article/details/133494581
版权

使用特征放缩的原因

图（1）

如图所示，当有的特征取值范围的数值很大，有的特征取值范围数值很小

那么为了去匹配真实数据，就要给数值大的特征点乘一个数值比较小的权重

同理，也要给数值小的特征点乘一个数值比较大的权重

使用这样的安排的原因：

图（2）

如果不按照上述方法安排权重大小，那么取值范围小的特征将会被忽略

接着上面的说

我们做出这样的安排之后，对于代价函数的等高线图（图1的右边那个图），就会变得又高又瘦

此时，尽管我的 w1 只是进行了微小的变动，梯度下降的步幅也会变得很大

这样会导致我们在寻找局部最小点的时候，会在最优解的周围来回浮动，导致梯度下降算法运行过慢

因此，我们引入了特征放缩（feature scaling）的方法来加速梯度下降算法

特征放缩的具体方法

最大值法

把所有特征都除以它自身取值范围的最大值，就可以把特征的取值范围限制在0、1之间

均值归一化（Mean normalization）

μ1 ：在训练样本中特征 X1 的均值

μ2：在训练样本中特征 X2 的均值

最终放缩之后的特征取值通常在-1 到 1 之间，会把特征取值变得有正有负

Z-score 标准化 / 归一化（Z-score normalization）

这个方法采用了正态分布的思想

μ1 ：在训练样本中特征 X1 的均值

μ2：在训练样本中特征 X2 的均值

σ1：在训练样本中特征 X1 的标准差

σ2：在训练样本中特征 X2 的标准差

最终同样把特征放缩到了一个取值较小的区间内

注意

如果某个特征取值本身就较小，那么不进行特征放缩也完全OK，对梯度下降运算也没什么影响

如图所示

本篇笔记图示来源：吴恩达《机器学习》系列课程

但行此事1222
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【机器学习】必会降维算法之：多维缩放（MDS）
商务合作 | 面试培训 | 职场规划 ==>主页扫码
05-30 2256
必会降维算法之：多维缩放
机器学习-梯度下降算法-特征缩放和学习速率选取
藏经阁 | 玄苦
08-06 1万+
1. 特征缩放实际当我们在计算线性回归模型的时候，会发现特征变量x，不同维度之间的取值范围差异很大。这就造成了我们在使用梯度下降算法的时候，由于维度之间的差异使得Jθ的值收敛的很慢。我们还是以房价预测为例子，我们使用2个特征。房子的尺寸（1~2000），房间的数量（1-5）。以这两个参数为横纵坐标，绘制代价函数的等高线图能看出整个图显得很扁，假如红色的轨迹即为函数收敛的过程，会发现此时函数收敛的非
机器学习中的特征缩放（feature scaling）浅谈
热门推荐
iterate7的博客
12-23 1万+
引言在运用一些机器学习算法的时候不可避免地要对数据进行特征缩放（feature scaling），比如：在随机梯度下降（stochastic gradient descent）算法中，特征缩放有时能提高算法的收敛速度。什么是特征缩放特征缩放的目标就是数据规范化，使得特征的范围具有可比性。它是数据处理的预处理处理，对后面的使用数据具有关键作用。机器算法为什么要特征缩放特征缩放还可以使机器学习算法工作的
浅谈Feature Scaling
MemRay
06-04 8658
转自：http://blog.sina.com.cn/s/blog_7f2889330101awle.html 定义：Feature scaling is a method used to standardize the range of independent variables or features of data. In data processing, it is also known
Feature Scaling
weixin_38052918的博客
10-19 270
特征缩放（Feature Scaling） 为什么要进行特征缩放？ 如果我们不进行处理，就去训练模型会怎么？训练模型实际是训练参数，如果我们采用梯度下降法，那么参数的更新公式是： ∂L∂wi=2n∑j=0n((Hj−yj)∗xji)\frac{ \partial L}{\partial w_i}=\frac{2}{n}\sum_{j=0}^n\Bigl((H_j-y_j)*x_{ji}\Bigr)∂wi​∂L​=n2​∑j=0n​((Hj​−yj​)∗xji​) wi+1=wi−η∗∂L∂wiw_{i+1}
Feature scaling
wusecaiyun的专栏
11-09 598
From Wikipedia, the free encyclopedia Feature scaling is a method used to standardize the range of independent variables or features of data. In data processing, it is also known as data no
Feature scaling(特征缩放)
weixin_44369518的博客
03-21 579
前言：在读到一篇文章常用 Normalization 方法的总结与思考：BN、LN、IN、GN时，发现越看越看不懂了，但是这里面有一些容易混淆的知识点，博主认为还是值得记录。 1.概念 normalization有些通称归一化或者标准化，也有说归一化属于标准化的，害，越看越糊涂。这里也有翻译的锅。直接用英语和表达式来区分吧。 四种Feature scaling(特征缩放)方法： Rescaling...
梯度下降算法动图_一文看懂常用的梯度下降算法
weixin_36391993的博客
12-24 1320
概述梯度下降算法(Gradient Descent Optimization)是神经网络模型训练最常用的优化算法。对于深度学习模型，基本都是采用梯度下降算法来进行优化训练的。梯度下降算法背后的原理：目标函数 关于参数 的梯度将是损失函数(loss function)上升最快的方向。而我们要最小化loss，只需要将参数沿着梯度相反的方向前进一个步长，就可以实现目标函数(loss function)...
机器学习笔记之优化算法(十六)梯度下降法在强凸函数上的收敛性证明
静静的学习就好
08-20 2109
本节将介绍：梯度下降法在强凸函数上的收敛性，以及证明过程。
3月24日直播《一节课掌握机器学习经典算法-支持向量机》.pdf
最新发布
07-25
### 机器学习经典算法——支持向量机(Support Vector Machine, SVM) #### 一、引言 支持向量机（SVM, Support Vector Machine）是一种非常强大的机器学习算法，广泛应用于分类与回归任务中。其核心思想是寻找一个...
特征缩放（feature scaling）
welcom_的博客
11-20 857
为什么会出现特征缩放？ 因为在对训练集，进行梯度下降的时候，会出现一种情况，以三维的J(θ1,θ2)J(\theta_1,\theta_2)J(θ1​,θ2​)为例，得到的三维图像非常不均匀，狭长，想象一下银河系的形状。在这种类型的大型训练集中操作，学习算法是迂回前进的，比起走直线要多花费不少时间，在这种情况下： 程序员：我要让他变短。 数学家：两点之间，直线最短。随便拐个弯也没什么，总比绕来绕...
特征缩放(feature scaling)
TTdreamloong的博客
10-19 1265
特征缩放的一些方法 调节比例（Rescaling） 将数据的特征缩放到[0,1]或[-1,1]之间。缩放到什么范围取决于数据的性质。对于这种方法的公式如下： x是最初的特征值， x′是缩放后的值。 标准化(Standardization) 特征标准化使每个特征的值有零均值(zero-mean)和单位方差(unit-variance)。这个方
数据的feature scaling
槑宝包
08-05 456
刚开始还研究啥是归一化、啥是标准化，网上说啥的都有。当看到feature scaling这个概念之后，才算是把这个问题搞清楚。 目前的理解：对数据进行feature scaling的目的（在基于梯度下降的模型），让梯度更均匀，避免梯度小的方向更新缓慢，梯度大的方向不容易收敛。防止最终解被数值大的特征所主导。   转载: 准化（normalization）是将数据按比例缩放，使之落入一个小的...
特征缩放(Feature scaling)
lihe的博客
12-27 1510
转载于https://segmentfault.com/a/1190000022155741 特征缩放适用于连续型变量，用来统一不同特征之间的量纲。 注意，机器学习数据中的连续变量特征往往符合正态分布，并且特征缩放往往都符合线性变换，不会改变原始数据的排位顺序。 使用场景： 1、连续特征变量 2、回归模型中，不同特征缩放后，对应的回归系数具有可比性 3、距离计算模型中，不同维度量纲统一，不会出现过度依赖量纲较大的特征。比如KNN，K-Means使用欧式距离 4、梯度优化中，特征间均衡的量纲可以让梯度下降更加
特征缩放(Feature Scaling)
godotlee的博客
12-28 946
特征缩放解释： 数据中某一维度的数值过大或过小时，将他们尽量缩放到［－１，１］或［０，１］之间．所谓特征的尺度，即代表该特征的维度上的数值大小． 特征缩放作用： 如K-NN算法中，如果某一维度上的值比其维度的大，则在计算样本欧式距离时，将会被该维度的值所主导． 如梯度下降算法中，将所有特征的尺度尽量缩放到［－１，１］之间，能够减少迭代的次数，即加快收敛 特征缩放的方法;
特征缩放（Feature Scaling）
weixin_45142381的博客
12-31 2864
特征缩放
（三）Feature_Scaling
wuchengguo0671的博客
12-13 365
特征缩放 目的：让不同的特征有相似的取值范围，确保收敛速度更快。 原因：每个输入值在大致相同的范围可以加速梯度下滑，同时θ将在小范围内快速下降并且在大范围内缓慢下降， 所以特征缩放并不是必须的操作。 特征缩放 当前特征输入值除以输入值的范围（最大值减去最小值）。 均值归一化 当前特征输入值减去平均值后除以输入值的范围（最大值减去最小值）。 More , https://en.wikipedia.o...
特征归一化总结（Feature Scaling）
014技术仓库
08-05 3752
写在前面 最近在研究基于小样本的故障诊断问题，看到很多关于利用数据驱动中深度学习的方法来优化故障诊断问题中，部分文献会通过“归一化”的方式，优化步骤，从而达到较少训练样本数或者节省训练时长。之前对归一化有过一定接触，但是不太了解。刚好趁此机会，将网上的一些归一化方法进行整理和总结。 纯粹自己学习整理，侵权删。 也参考了部分笔记： https://www.cnblogs.com/shine-lee/p/11779514.html（给了我很多建议，其中很多也都在这里有一些摘抄） https://www.zhih
全息再现像放缩算法研究及其实现
"本文介绍了一种基于Gerchberg-Saxton迭代算法的计算全息再现像放缩技术，能够在指定位置实现全息图再现像的任意比例放大或缩小，同时解决了放大过程中可能出现的照明不均匀问题。通过MATLAB数值模拟和硅基液晶纯...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值