机器学习部分:特征缩放

特征缩放是优化梯度下降算法的一种方法,确保不同特征在同一尺度上,加快收敛速度。例如,房屋面积(0-2000平方英尺)与卧室数量(1-5)对比,特征缩放后,两者都在0-1范围内,使得代价函数的轮廓更加圆形,梯度下降更快找到全局最小值。特征缩放通常目标是将特征值约束在-1到+1之间,不同特征的范围只要接近这个范围,梯度下降就能有效工作。
摘要由CSDN通过智能技术生成

特征缩放(feature scaling)

其中,特征缩放(feature scaling)大致的思路是这样的:梯度下降算法中,在有多个特征的情况下,如果你能确保这些不同的特征都处在一个相近的范围,这样梯度下降法就能更快地收敛。

举个例子来说明:

x1=size(0−2000)feet2x1=size(0−2000)feet2 
x2=卧室的数量(1−5)x2=卧室的数量(1−5)

假如你有一个具有两个特征的问题,其中x1x1是房屋面积大小,它的取值在0到2000之间;x2x2是卧室的数量,可能这个值的取值范围在1到5之间。其代价函数J(θ)J(θ)是一个关于参数θ0,θ1和θ2θ0,θ1和θ2的函数。但这里我们暂时不考虑θ0θ0并假想一个函数的变量只有θ1和θ2θ1和θ2。

如果x1x1的取值范围远远大于x2x2的取值范围的话,那么最终画出来的代价函数J(θ)J(θ)的轮廓图就会呈现出这样一种非常偏斜并且椭圆的形状:

这里写图片描述

如果你用这个代价函数来运行梯度下降的话,你要得到梯度值最终可能需要花很长一段时间,并且可能会来回波动,然后会经过很长时间最终才收敛到全局最小值。

这里写图片描述

事实上如果这些轮廓再被放大一些的话,如果你画的再夸张一些把它画的更细更长,那

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值