【吴恩达机器学习】学习记录2：多元梯度下降法与正规方程

使用矩阵运算

        在较为复杂、数据量较多的情况下，使用矩阵这种数学表达形式会更加清晰并且有利于计算，吴恩达教授在视频中介绍了矩阵和向量的基本概念、矩阵的加法和数乘运算、矩阵和向量的乘法、矩阵的乘法及其特性、矩阵和逆和转置，矩阵的乘法可以使我们只需要做一次运算就能得到想要的多个结果，例如：
【1】计算一个函数的不同取值（数据组成的矩阵*参数组成的向量）

【2】计算多个函数的不同取值（数据组成的矩阵*多组参数组成的向量）

多元线性回归

之前为了方便解释，只提出了只有一个影响因子x的假设函数h(x)，但是实际情况往往是多个因素共同决定结果，因此需要使用多元变量对结果进行表示，在线性回归问题中，这是一个多元线性回归问题，同样问了表示的简洁性，可是使用矩阵的形式对多元线性回归进行表示。

多元梯度下降法

对于多元线性回归，同样可以使用梯度下降法求得使得代价函数最小的参数，这里的梯度下降法称为多元梯度下降法。多元梯度下降法和之前的类似，其同时更新多个参数的值，直到达到满足条件的最小值。

为加快梯度下降速度的一些方法

1. 特征缩放
   有两种方式，可以结合起来用也可以选择其一。
   一是将变量除以某个值使其位于-1~1之间（同一代价函数的不同变量可以取不同的缩放因子），二是对变量进行均值归一化，将改变量x减去均值u，使变量位于0附近（X0=1不做此操作）。
   
   其中u1为x1的平均值、s1为最大值与最小值的差值。

2. 选择合适的学习率。
   随着迭代次数的增加，观察代价函数的变化情况。
   当曲线为以下几种情况，需要选择更小的学习率。
   
   一般而言，足够小的学习率都能在每次迭代过程中使得代价函数减小，但过小的学习率同样会导致收敛时间过长

   推荐的选择学习率的方法
   每隔十倍取一个值 例如0.0001，0.001，0.01，0.1，1…….

特征与多项式回归

1. 定义新特征从而得到更好的模型
2. 定义多项式拟合数据（二次、三次等等）

正规方程

一个只需要一步计算就可以求得θ的方法。

该方程由Xθ=y推导而来，不是X^(-1) y的原因：X不一定是方阵！！所以这里先左乘了一个X的转置，XTX变为方阵后才可逆。

梯度下降法和正规方程法的优缺点对比：

特征数量不大时使用正规方程更好（因为计算矩阵的逆的时间复杂度为O(n3)），特征数目很大时，可以选择梯度下降。