人工智能教程 - 学科基础课程2.6 - 机器学习导论 4.多变量线性回归,多维特征量,特征缩放,均值归一化

矩阵(Matrix)

是由数字组成的矩形阵列

Rectangular arrty of numbers
Demensions of matrix: number of rows X number of columns

向量(vector)

一个向量是一种特殊的矩阵，其只有一列矩阵

An n X 1 matrix

also called n-dimensioned vector

多变量(多元)线性回归

Multivariate linear regression

多维特征

实际生活中，我们往往需要多个特征量

Hypothesis:

$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+{\theta }_4{x}_4$

多维特征Hypothesis

多元线性回归 Multivariate linear regression

通用模型

$h_{\theta }(x)={\theta }_0(x_0)+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$

For convenience of notation,define $x_0=1$

$x=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ .\\ .\\ .\\ x_n\end{array}\right]\in {\mathbb{R}}^{n+1}\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ .\\ .\\ .\\ {\theta }_n\end{array}\right]\in {\mathbb{R}}^{n+1}$

$h_{\theta }(x)={\theta }^{T}X$

参数向量$\theta$以及特征向量X的内积

多变量代价函数(cost function)

$J({\theta }_0,{\theta }_1,...,{\theta }_n)=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$

可以把 n+1 个 $\theta$参数想象成一个 n+1 维的向量 $\theta$

梯度下降算法

Gradient descent algorithm

repeat until convergence{

${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1,...,{\theta }_n)$(for j = 0 and j=1)

}

单变量的下降算法

多变量的梯度下降算法

梯度下降法实践之特征缩放

feature scaling

面临的多特征问题(Problem)：

特征之间的尺度(range)相差太大，需要加快梯度下降法的收敛速度，否则过于慢。比如有两个特征，房屋尺寸和房间数，房屋尺寸的范围是0-2000平方，房间数的范围是0-5间，差距太大导致绘制出来的椭圆形又扁又长，收敛速度太慢。

解决办法：Feature Scaling

让每一个特征约束到-1 到 +1 的范围内

Get every feature into approximately a $-1\le x_i\le 1$ range.

Note: $0\le x_1\le 3,-2\le x_2\le 0.5$其实也都可以，但是$-100\le x_3\le 100，-0.0001\le x_4\le 0.0001$就不好了。

---

均值归一化 (Mean normalization)

抽象出来 $x_1\leftarrow \frac{x_1-{\mu }_1}{S_1}$

${\mu }_1$是在训练集中特征$x_1$的平均值 average value of $x_1$ feature in training set

$S_1$ 是该特征值的范围 ,最大值减去最小值 range : maximum value- minimum value