吴恩达机器学习-第二周

1、多变量线性回归

1.1多变量线性回归

 指样本有多个特征，$n$代表特征数量，$x^{(i)}$代表第$i$个训练实例，是特征矩阵中的第$i$行
 每个实例有$n$个特征，$x_j^{(i)}$代表第$i$个实例中的第$j$个特征。
    多变量的假设函数:
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$$
           公式中$n+1$个参数和$n$个变量，为了简化公式，引入$x_0=1$，则公式转化为：
$$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$$
    多变量的代价函数:
$$J({\theta }_0,{\theta }_1,...,{\theta }_n)=\frac{1}{2m}\sum _{i=1}^m{(h_{\theta }(x^{(i)})-y^{(i)})}^2$$
    多变量的更新参数:
$${\theta }_j={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
梯度下降的过程与单变量是一样的：详见吴恩达机器学习-第一周

1.2特征缩放

如果特征值尺度不同，会出现如图的情况，这样进行梯度下降的次数会大大增加。
  为了减少梯度下降的迭代次数，一般对特征值的尺度进行缩放。基本方法为：
$$(1)⟶x_n=\frac{x_n-{\mu }_n}{s_n},{\mu }_n为平均值，s_n为标准差$$
$$(2)⟶x_n=\frac{x_n-{\mu }_n}{x_{max}-x_{min}}$$
一般通常特征的尺度控制在：$-3\sim 3$和$-\frac{1}{3}\sim \frac{1}{3}$

1.2学习率

 图中函数为梯度下降迭代次数和代价函数的值的曲线

 梯度下降算法每次迭代受学习率的影响:

• $\alpha$过小，收敛迭代次数高；

• $\alpha$过大，每次迭代可能不会减少代价函数，可能越过局部最小值。

通常可考虑的值有：
 $\alpha =0.01，0.03，0.1，0.3，1，3，10$

2、正规方程

 正规方程的主要实现方法就是对代价函数求导，取使导数为$0$时候$\theta$的值。
   正规方程公式：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$

梯度下降与正规方程的对比：

3、向量化

向量化将使计算更为简单。