多元线性回归（Multiple Linear Regression）吴恩达老师课程笔记

概念

​ 在线性回归的原始版本中，只有一个特征x，也就是房屋的大小，我们依据x来预测y，也就是房屋的价格，该模型是
$$f_{w,b}(x)=wx+b$$
​ 但是现在我们在预测房屋价格的时候，并不仅仅考虑房屋的大小，还要考虑卧室的数量，楼层的数量和房屋的使用年限，那会怎么样呢？

对此，我们要引出一些新的符号，我们将使用变量X_1，X_2，X_3，X_4来表示这四个特征，在这里我们用 X_{j} 来表示第 j 个特征（比如X_{1}就代表第一列），用n来表示特征的总数，用X^{i}, 上标 i 来表示第i个训练示例，或者我们称它为包含第 i 个训练示例的所有特征的向量（比如X^{2}就代表第二行），或者有时我们称它为包含第 i 个训练示例的所有特征的向量。这里或许可以用上行下列来记忆。综合起来上面的内容，我们用X_{j}^{i}来表示第 i 个训练样本中的第 j 个特征的数值，比如X__{1}^{2} 就表示第二个训练样本的房屋大小的值1416。
​

由于多了几个特征，之前的模型也要做进一步的修改

$$f_{w,b}(x)=w_1{x}_1+w_2{x}_2+w_3{x}_3+w_4{x}_4+b$$
​ b我们可以理解为房子的底价，w_{1}可以理解为房子每增加一平方英尺，房价会上涨多少，其余的也类似。那假如有n个特征，模型将会是下面这样
$$f_{w,b}(x)=w_1{x}_1+w_2{x}_2+\dots \dots +w_n{x}_n+b$$
​ 下面我们要引入一些符号，以简单等效的重写下面这个表达式。

​ 我们将w定义为一个数字列表，其中参数为w_{1}，w_{2}，w_{3}，……w_{n}, b就是一个单纯的数字，不是一个向量，这里的向量w和数字b一起组成了模型的参数。那上面的式子就可以表示为
$$f_{w,b}(x)=w\cdot x+b=w_1{x}_1+w_2{x}_2+w_3{x}_3\dots \dots w_n{x}_n+b$$
​ 这种具有多个输入特征的线性回归模型就是多元线性回归

梯度下降

​ 假如我们现在有一个问题，有16个特征和16个参数
$$\begin{gathered} w=(w_1,w_2,w_3,\dots \dots w_{16}) \\ d=(d_1,d_2,d_3,\dots \dots d_{16}) \end{gathered}$$
d里面存储导数的值，在这个问题中，我们将先忽略参数b，现在，我们要计算这16个参数中每一个的更新

w = np.array([0.5,1.3,……,3.4])
d = np.array([0.3,0.2,……,0.4])

$$w_j=w_j-0.1d_{j}forj=1,2,\dots \dots 160.1是学习率$$

如果不用向量处理的话，我们需要做一下操作

for i in range(0,16):
	w[j] = w[j]-0.1*d[j]

如果使用向量化处理的话，就可以利用计算机的并行处理，代码实现如下

w = w - 0.1 * d

也许只有16个特征时，处理的速度差异并不明显，但是如果是非常大的训练集，将会在学习时间上产生很大的差距

对于梯度下降算法，如果不使用向量化处理，则重复以下操作：
$$\begin{gathered} w_j=w_j-\alpha \frac{\delta }{\delta w_j}J(w_1,\dots \dots w_n,b) \\ b=b-\alpha \frac{\delta }{\delta b}J(w_1,w_2,\dots \dots ,w_n,b) \end{gathered}$$
如果使用向量化操作，则重复以下操作：
$$\begin{gathered} w_j=w_j-\alpha \frac{\delta }{\delta w_j}J(w,b) \\ b=b-\alpha \frac{\delta }{\delta b}J(w,b) \end{gathered}$$

得到梯度下降公式：
$$\begin{gathered} w_1=w_1-\alpha \frac{1}{m}\sum _{i=1}^m(f_{w,b}(x^{(i)})-y^i)x_1^i \\ {w}_2=w_2-\alpha \frac{1}{m}\sum _{i=1}^m(f_{w,b}(x^{(i)})-y^i)x_2^i \\ \dots \dots \\ {w}_n=w_b-\alpha \frac{1}{m}\sum _{i=1}^m(f_{w,b}(x^{(i)})-y^i)x_n^i \\ b=b-\alpha \frac{1}{m}\sum _{i=1}^m(f_{w,b}(x^{(i)})-y^i) \end{gathered}$$