机器学习从零开始系列【第三话】多项式回归问题

特征缩放 (Features scaling)

为什么需要特征缩放?
目的让所有的变量处在一个数量级上,如果某一个变量的数量级和其他的相差太严重会导致收敛太慢,因为我们对每个变量使用的学习率都是一致的。
假如有某个变量的数量级太大,会导致损失函数的梯度图呈现这样扁竖的样子:
没有Feature scaling的梯度图

【解决方法:均值归一化】(Mean normalization)

X : = X − a v g ( X ) r a n g e X:=\frac{X-avg(X)}{range} X:=rangeXavg(X)
这样可以把X控制在 − 0.5 < X < 0.5 -0.5<X<0.5 0.5<X<0.5

多项式回归

例如:
h ( θ ) = θ 0 + θ 1 x 1 + θ 2 x 1 + θ 3 x 3 . . . . h(\theta)=\theta_0+\theta_1x_1+\theta_2x_1+\theta_3x_3.... h(θ)=θ0+θ1x1+θ2x1+θ3x3....
如果把变量参数都看作矩阵:
在这里插入图片描述
为什么会有:
θ = ( X T X ) − 1 X T y \theta=(X^TX)^{-1}X^Ty θ=(XTX)1XTy
(注意:这里的 θ \theta θ是矩阵),假设样本总数m=4,特征数n=5。Hypothesis function 可以表示为
Y = X θ Y=X\theta Y=Xθ
Y=m * 1
X=m * n
θ \theta θ=n * 1
X T X^T XT=n * m
假如我们需要求 θ = X − 1 Y \theta=X^{-1}Y θ=X1Y,但我们不能保证X一定是方阵,可以使用矩阵转置来帮助 θ = ( X T X ) − 1 X T y \theta=(X^TX)^{-1}X^Ty θ=(XTX)1XTy

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值