机器学习笔记（4）— 多特征变量

1.多特征变量

本文主要介绍多特征变量的梯度下降法和特征缩放内容。

2.多特征（多变量）

多特征变量的目标函数为：

假设x0 = 1，则目标函数为：

把特征量x看作是一个向量：

把特征量的参数也看做一个向量：

所以目标函数可以表示为：

多特征量的目标函数，又叫多元线性回归。

3.多特征的梯度下降

目标函数为：

代价函数为：

由上文可知

所以代价函数为：

单变量梯度下降法中：

多变量梯度下降法类似：

4.特征缩放

特征缩放的目的是解决不同特征之间数值差异过大导致代价函数的等值线细长的问题。（类似于打土豪，分田地，缩小贫民和地主之间的差距）。
使用两个变量举例：特征值的范围是：


则其代价函数的等高线如下图1所示。如图1，如果是这种情况使用梯度下降法，会严重影响算法的效率。我们希望的代价函数等值线如图2所示，无论从那个方向下降，效率均相同。

因此如果令：

其中x1.1，x2.1代表把特征值缩小之后的 x1和 x2。这样会极大的极大的缩小两个特征值之间的差距，提高梯度下降法的效率。
通常来说使用特征缩放会把特征值缩小为[-1,1]。

4.1均值归一化

特征缩放中经常用到方法为均值归一化：

其中，μi 代表第i个特征的平均值（多元变量，每个特征中包含多个特征值），分母是指第i个特征中，特征值的最大值减去最小值。