机器学习笔记(4)— 多特征变量

1.多特征变量

本文主要介绍多特征变量的梯度下降法和特征缩放内容。

2.多特征(多变量)

多特征变量的目标函数为:
在这里插入图片描述
假设x0 = 1,则目标函数为:
在这里插入图片描述
把特征量x看作是一个向量:
在这里插入图片描述
把特征量的参数也看做一个向量:
在这里插入图片描述
所以目标函数可以表示为:
在这里插入图片描述
多特征量的目标函数,又叫多元线性回归。

3.多特征的梯度下降

目标函数为:
在这里插入图片描述
代价函数为:
在这里插入图片描述
由上文可知
在这里插入图片描述
所以代价函数为:
在这里插入图片描述
单变量梯度下降法中:
在这里插入图片描述
多变量梯度下降法类似:
在这里插入图片描述

4.特征缩放

特征缩放的目的是解决不同特征之间数值差异过大导致代价函数的等值线细长的问题。(类似于打土豪,分田地,缩小贫民和地主之间的差距)。
使用两个变量举例:特征值的范围是:
在这里插入图片描述
在这里插入图片描述
则其代价函数的等高线如下图1所示。如图1,如果是这种情况使用梯度下降法,会严重影响算法的效率。我们希望的代价函数等值线如图2所示,无论从那个方向下降,效率均相同。
在这里插入图片描述
因此如果令:
在这里插入图片描述
其中x1.1,x2.1代表把特征值缩小之后的 x1和 x2。这样会极大的极大的缩小两个特征值之间的差距,提高梯度下降法的效率。
通常来说使用特征缩放会把特征值缩小为[-1,1]。

4.1均值归一化

特征缩放中经常用到方法为均值归一化:

在这里插入图片描述
其中,μi 代表第i个特征的平均值(多元变量,每个特征中包含多个特征值),分母是指第i个特征中,特征值的最大值减去最小值。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值