吴恩达学习day2（多变量线性回归）

一.多维特征

引例：目前为止，我们探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为（x1,x2,……xn）。
比如：预测房价不只是面积，还有卧室数x1,楼层数x2,新旧程度x3，

增添更多特征后，我们引入一系列新的注释：

n 代表特征的数量

x^（i）代表第i个训练实例，是特征矩阵中的第i行，是一个向量（vector）。

比方说，上图的

，

xj⁽ⁱ⁾代表特征矩阵中第 i行的第 j个特征，也就是第 i个训练实例的第j 个特征。
支持多变量的假设h表示为：
这个公式中有个n+1参数和n个变量，为了使得公式能够简化一些，引入x0=1，则公式转化为：

此时模型中的参数是一个n+1维的向量，任何一个训练实例也都是n+1维的向量，特征矩阵X的维度是m*（n+1） 。 因此公式可以简化为hθ（x）=θ^TX：，其中上标T代表矩阵转置。

二.多变量梯度下降

【1】公式推导

（打字太麻烦了，就手写了）

【2】代码示例：

def computeCost(X, y, theta): # 函数
    inner = np.power(((X * theta.T) - y), 2)   #  求和部分
    return np.sum(inner) / (2 * len(X))
     #  除以2m

三.梯度下降法实践1-特征缩放

在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。

以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000平方英尺，而房间数量的值则是0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能，看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。

标准差：最大值-最小值

四.梯度下降法实践2-学习率

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。

300~400步的时候，函数已经几乎趋于平滑，所以代价函数已经收敛了，不用继续下降了
也有一些自动测试是否收敛的方法，例如将代价函数的变化值与某个阀值（例如0.001）进行比较，但通常看上面这样的图表更好。

结论：梯度下降算法的每次迭代受到学习率的影响，如果学习率过小，则达到收敛所需的迭代次数会非常高；如果学习率过大，每次迭代可能不会减小代价函数，可能会越过局部最小值导致无法收敛。

五.特征和多项式回归

假设你有两个特征，一个是房子临街的宽度和垂直宽度

线性回归并不适用于所有数据，有时我们需要曲线来适应我们的数据，比如一个二次方模型：
或者三次方模型：

六.正规方程

正规方程提供了求θ的解析方法，所以我们不需要进行多次迭代，而是直接求解θ的最优值，
我们先 来解释一下正规方程：
我们假设有一个非诚简单的迭代函数J（θ），就是一个有关参数的函数

【1】那么如何最小化一个二次函数呢？

简单的方法是求导使其等于0，然后进行算出最小值

【2】什么是正规方程？

正规方程是通过求解下面的方程来找出使得代价函数最小的参数的：
。 假设我们的训练集特征矩阵为 X（包含了x0=1 ）并且我们的训练集结果为向量y ，则利用正规方程解出向量
。 上标T代表矩阵转置，上标-1 代表矩阵的逆。设矩阵A=X^TX，则：（X ^TX）^-1=A^-1 以下表示数据为例：

pinv(X'*X)*X'*y

注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的数量），正规方程方法是不能用的。

【3】梯度下降与正规方程的比较：

梯度下降	正规方程
需要选择学习率a	不需要
需要多次迭代	一次运算得出
当特征数量n大时也能较好适用	需要计算（XTX）-1 如果特征数量n较大则运算代价大，因为矩阵逆的计算时间复杂度为O(n3)，通常来说当n小于10000 时还是可以接受的
适用于各种类型的模型	只适用于线性模型，不适合逻辑回归模型等其他模型

【4】总结

总结一下，只要特征变量的数目并不大，标准方程是一个很好的计算参数θ的替代方法。具体地说，只要特征变量数量小于一万，我通常使用标准方程法，而不使用梯度下降法。

随着我们要讲的学习算法越来越复杂，例如，当我们讲到分类算法，像逻辑回归算法，我们会看到，实际上对于那些算法，并不能使用标准方程法。对于那些更复杂的学习算法，我们将不得不仍然使用梯度下降法。因此，梯度下降法是一个非常有用的算法，可以用在有大量特征变量的线性回归问题。或者我们以后在课程中，会讲到的一些其他的算法，因为标准方程法不适合或者不能用在它们上。但对于这个特定的线性回归模型，标准方程法是一个比梯度下降法更快的替代算法。所以，根据具体的问题，以及你的特征变量的数量，这两种算法都是值得学习的。

【5】正规方程的python实现：

import numpy as np
    
 def normalEqn(X, y):
    
   theta = np.linalg.inv(X.T@X)@X.T@y #X.T@X等价于X.T.dot(X)
    
   return theta
 

七.正规方程及不可逆性

【1】问题探索：

我们要讲的问题如下：

1.计算这个公式的时候，那对于矩阵的结果是不可逆的情况咋办呢?

答：有些矩阵可逆，而有些矩阵不可逆。我们称那些不可逆矩阵为奇异或退化矩阵。 问题的重点在于的 X^TX 不可逆的问题很少发生.

拓展：在Octave里，如果你用它来实现的计算θ，你将会得到一个正常的解。在Octave里，有两个函数可以求解矩阵的逆，一个被称为pinv()，另一个是inv()，这两者之间的差异是些许计算过程上的，一个是所谓的伪逆，另一个被称为逆。使用pinv()
函数可以展现数学上的过程，这将计算出的θ值，即便矩阵 X^TX是不可逆的。

2. 在pinv() 和 inv() 之间，又有哪些具体区别呢 ?

答：

【2】增加内容：