Andrew Ng网课笔记-Linear Regression(二)

1. 本章要做什么

上一章我们说到一个参数的线性回归，

房价只和一个参数房子面积的关系，这一章，我们要讲多个参数的线性回归。

多元线性回归(multivariate linear regression)

比如：

房价与房子面积、卧室间数、房子层数、房龄等多个元素之间的关系。

符号表示：

房子面积、卧室间数、房子层数、房龄、房价分别用x1, x2, x3, x4，y来表示。

M：仍然是样本的总数量

n ： 特征数量即我们这里的参数数量（4）

 ： 第i个的训练数据（x1, x2, x3, x4的合集）比如：

 ： 第i个的训练数据的j个特征（x1, x2, x3, x4中的某一个）

我们之前的假设模型是：

现在，由于多加了参数变成了：

我们要改变一下式子，假设x0 = 1，那么原式可以写成：

然后我们引入向量，用矩阵的形式来表示：

因为多加了一个x0,所以整体的维度变成了n+1

维度关系：1 x n+1       x       n+1 x 1       =       1 x 1，与之前的式子结果一样，这样表达更清楚。

2.多个参数的梯度下降(Gradient Descent For Multiple Variables)

假设模型：

参数：θ，n+1维

代价函数：J(θ) = 

梯度下降公式：

展开看一下：

θ0和θ1其实和我们上一章讲的是一样的，因为x0 = 1

3.特征缩放(Feature scaling)

思想：尽量保证特征在相同的区间内

好处：可以在使用梯度下降的时候收敛的更快

举例：

例如：两个参数，房子面积和卧室数量去预测房价，x1的范围是(0-2000) X2的范围是(1-5)，所以如果我们这样画出J(θ)的图的话，势必会如上图 一样，是一个窄高的椭圆，有可能造成梯度下降时消耗时间长。	假如我们把这两个特征的范围缩小到(0-1)的话，做出的J(θ)图会圆很多，这样会减少梯度下降的时间。

实际操作中， 我们会将特征缩放到(-1 <= x <= 1)，不过如果参数距离-1和+1比较近的话，如(-0.5~0.5)或(-3~3),我们也可以用，不过如果差的太多，如(-100~100)或(-0.001~0.001)这样的，还是会统一到(-1~1)。

Mean normalization

这种标准化之后效果和上述方法差不多，

做法是：特征减去该特征的均值，除以该特征的最大值：

对于size来说，最大值是2000，均值是1000

x1 = (size-1000)/2000,

这样得到的结果在-0.5~0.5，也可以起到减少梯度下降时间的作用

4.Gradient Descent in practice

有时候我们想知道我们梯度下降过程是否正确，我们可以用下面的方法：

x轴是迭代的次数，我们把每次迭代后的J(θ)值。打印出来，作图。如果呈现下降的趋势，就是正确的。在这个图中，大约在迭代300次后，J(θ)下降的很小了，我们就可以把这个时候看成是结束的时候。

如上图所示，

如果J(θ)不每次迭代不但数值没有减小，反而增加了，或者是波浪的形式，说明learning rate α 选择大了，需要选个小点的。

如果α选择大了：J(θ)会变大

如果α选择小了：J(θ)会下降的特别慢

所以一般α是从0.001， 0.01， 0.1， 1这样选择的。

5.Features and polynomial

有的时候我们可以对特征进行筛选或改变

假如我们预测房价用的特征是房子的临街的长和深度，相当于我们用的是房子的面积area

x = frontage * depth

hθ(x) = θ0 + θ1 * x

polynomial

有的时候我们添加多项式的时候会遇到二次方， 三次方的情况，我们可以把这样的特征转换成一次方的形式：

如果我们选择这样转换的话，就更要注意feature scaling了。因为会对模型有很大的影响。

6.Normal Equation 

对于有些模型是存在公式解决办法的。

比如说gradient descent

用这个公式就可以算出θ的值了，我们之后会讲如何算的。

这个大写的X就是我们所有x上数据的所有：

因为这里是直接算θ，所以如果用这种方法就不用进行feature scaling了。

	gradient descent	normal equation
优点
缺点		n小于10000，直接用，大于10000用梯度下降

6.Normal Equation Non Invertibility

如果当我们用normal equation的时候，有事会出现有的矩阵不可逆的情况。

当中XTX就有可能。

线代知识就是这个矩阵是奇异的或者是退化的，

出现这个问题的原因以及解决办法是：

其实这两个特征可以写到一个里 x1 = 3.28 * x2 所以我们要先检查我的数据特征里是不是存在着这样的关系	特征数量大于数据数量 m = 10, n = 100 第二步就是看是否特征数量大于数据数量 其实这么少的数据也是不能计算出合适的多特征的模型的