Coursera-吴恩达机器学习课程个人笔记-Week2

  week1由于比较基础，暂时先略过，如果有时间会补上。
  另外，这份笔记里不只是有吴恩达课堂的内容，还增加了一些曾经在其他课堂学习记录下的笔记，所以算是一种笔记整合。不过整体流程是按吴恩达课程大纲走的。目前算是借助吴恩达的课程进行一次复习。
  如有发现何处公式推导或者文字说明有误，请留言指正，谢谢。

参数说明

  假设数据集中有m个样本，针对研究的问题每个样本具有n个特征。那么：
  ${\text{x}}^{(i)}=(x_1^{(i)},x_2^{(i)},...,x_n^{(i)}{)}^{\prime }$表示第i个样本的特征向量，其中$x_k^{(i)}$表示第i个样本的第k个特征；
  $y^{(i)}$表示第i个样本的标签或对应特征${\text{x}}^{(i)}$的实际结果；
  $({\text{x}}^{(i)},y^{(i)})$表示第i个样本。
  如果具有m个样本，那么可以合并写成
$${\text{X}}_{m\times n}=\left[\begin{array}{cccc}{x}_0^{(1)}& x_1^{(1)}& \cdots & x_n^{(1)}\\ \cdots & \cdots & \cdots & \cdots \\ x_0^{(m)}& x_1^{(m)}& \cdots & x_n^{(m)}\end{array}\right]，其中x_0^{(i)}=1。$$
$$\text{Y}=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ \cdots \\ y^{(m)}\end{array}\right]$$

1.多特征的线性回归方程

  假设当前机器学习系统可以对特征为$(x_1,x_2,...,x_n{)}^{\prime }$的数据进行预测，预测结果为$\hat{y}$。则多特征的线性回归的数学表达式即为：
$$\hat{y}={\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n={\text{θ}}^T{\text{x}}^{(i)}$$
  其中$\theta =({\theta }_0,{\theta }_1,\dots ,{\theta }_n{)}^{\prime }$是参数向量；
  ${\text{x}}^{(i)}$是某个样本的特征向量；
  由于考虑到参数${\theta }_0$，所以通常会增加一个全1特征$x_0$=1，简化多特征的线性回归方程。即此时的特征转化为
$$x^{(i)}=(x_0^{(i)},x_1^{(i)},x_2^{(i)},\dots ,x_n^{(i)}),其中x_0^{(i)}=1。$$

2.梯度下降法(Gradient Descent)

2.1如何选择参数向量θ呢？

  首先需要有一个评价当前机器学习系统预测效果的标准，此处称为损失函数J(θ)，其作用是衡量系统预测值和真实值的差距大小。最直观的做法是将所有样本数据的预测值和真实值的差值平方后求均值：
$$J(\text{θ})=\frac{1}{2m}\sum _{i=1}^m(\hat{y}-y^{(i)}{)}^2=\frac{1}{2m}\sum _{i=1}^m({\text{θ}}^T{\text{x}}^{(i)}-y^{(i)}{)}^2$$
  (注：公式中的1/2 是为了后续求导方便，详情见后续推导部分)
  损失函数J(θ)数值越大，说明预测效果越差。所以很明显我们需要寻找使J(θ)达到最小值的参数向量θ。即：
$$\theta =\arg \underset{\theta }{\min }J(\text{θ})$$
  沿着$J(\text{θ})$梯度下降的方向不断迭代，即可达到局部最小值：
$$梯度下降法迭代公式：\text{θ}:=\text{θ}-\alpha \frac{\partial J(\text{θ})}{\partial \text{θ}}$$
  其中α是学习率(learning rate)，也叫步长，可以控制收敛速度，但是过大的话容易发散。
  在程序中该如何计算导数$\frac{\partial J(\text{θ})}{\partial \text{θ}}$呢？
$$\frac{\partial J(\text{θ})}{\partial {\theta }_j}=\frac{\partial }{\partial {\theta }_j}[\frac{1}{2m}\sum _{i=1}^m({\text{θ}}^T{\text{x}}^{(i)}-y^{(i)}{)}^2]=\frac{1}{2m}\sum _{i=1}^{m}2({\text{θ}}^T{\text{x}}^{(i)}-y^{(i)})\cdot \frac{\partial }{\partial {\theta }_j}({\text{θ}}^T{\text{x}}^{(i)}-y^{(i)})$$
$$\therefore \frac{\partial J(\text{θ})}{\partial {\theta }_j}=\frac{1}{m}\sum _{i=1}^m({\text{θ}}^T{\text{x}}^{(i)}-y^{(i)})\cdot \frac{\partial }{\partial {\theta }_j}(\sum _{i=1}^m{\theta }_i{x}_i-y^{(i)})=\frac{1}{m}\sum _{i=1}^m({\text{θ}}^T{\text{x}}^{(i)}-y^{(i)})x_j^{(i)}$$
转化为矩阵表达式为：
$$\frac{\partial J(\text{θ})}{\partial {\theta }_j}=\frac{1}{m}(\text{Xθ}-\text{Y}{)}^T{\text{X}}_{(:,j)}$$
其中，
$${\text{X}}_{m\times n}=\left[\begin{array}{cccc}{x}_0^{(1)}& x_1^{(1)}& \cdots & x_n^{(1)}\\ \cdots & \cdots & \cdots & \cdots \\ x_0^{(m)}& x_1^{(m)}& \cdots & x_n^{(m)}\end{array}\right]$$
$$\text{θ}=({\theta }_0,{\theta }_1,\dots ,{\theta }_n{)}^{\prime }$$
$${\text{X}}_{(:,j)}=(x_j^{(1)},x_j^{(2)},...,x_j^{(m)}{)}^{\prime }$$
$$\text{Y}=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ \cdots \\ y^{(m)}\end{array}\right]$$
$$\therefore \frac{\partial J(\text{θ})}{\partial \text{θ}}=[\frac{\partial J(\text{θ})}{\partial {\theta }_0},\frac{\partial J(\text{θ})}{\partial {\theta }_1},...,\frac{\partial J(\text{θ})}{\partial {\theta }_n}{]}^T$$
  通常设置初值θ=(0,0,…,0)’，代入迭代公式后即可不断更新参数向量θ直到θ收敛致某一值，此时的参数向量θ可以使J(θ)达到局部最小值。
  通常来说，梯度下降法求到的不是全局最优解，而是局部最优。然而此处的线性回归问题只有一个最优解，并无局部最优解(因为J(θ)是一个凸函数)。所以梯度下降法(步长适当时)一定会收敛，且一定能得到全局最优解。

2.2优化梯度下降法的方法

  1).特征缩放(特征标准化)

  为什么需要特征缩放？
  因为当样本具有多个特征时，如${\text{x}}^{(i)}=(x_1^{(i)},x_2^{(i)},...,x_n^{(i)}{)}^{\prime }$，在所有样本中，由于每个特征的量纲不同，特征取值的范围也不同，可能$x_1^{(i)}\in [0,1]$，而$x_2^{(i)}\in [10000,100000]$。这样，在进行梯度下降的时候，由于数值较大的特征(如$x_2^{(i)}$)会导致在数值较小的特征的梯度方向上移动缓慢，从而大大增加梯度迭代次数，降低算法效率(如右图)。因此，对所有数据进行适当的特征缩放后，将所有特征的取值范围映射到同一数量级的范围内，可以解决上述问题。

  如何进行特征缩放？
  常用的特征缩放方法有：
    i. (0,1)缩放
$$x_k^{(i)}:=\frac{x_k^{(i)}-\underset{j\in [1,m]}{\min }{x}_k^{(j)}}{\underset{j\in [1,m]}{\max }{x}_k^{(j)}-\underset{j\in [1,m]}{\min }{x}_k^{(j)}}$$
    其中，等号左边的$x_k^{(i)}$是第i个样本第k个特征缩放后的新值；
    $\underset{j\in [1,m]}{\min }{x}_k^{(j)}$是所有样本第k个特征的最小值；
    $\underset{j\in [1,m]}{\max }{x}_k^{(j)}$是所有样本第k个特征的最大值。
    ii. 标准缩放
$$x_k^{(i)}:=\frac{x_k^{(i)}-{\bar{x}}_k}{std(x_k)}$$
    ${\bar{x}}_k=mea{n}_{j\in [1,m]}(x_k^{(j)})=\frac{1}{m}{\sum }_{j=1}^m{x}_k^{(j)}$ ，是所有样本第k个特征的均值；
    $std(x_k)$是所有样本第k个特征的标准差。

  2).学习率α的选择

  如果学习率过小，则达到收敛所需的迭代次数很大，收敛速度很慢；
  如果学习率过大，则每次迭代后的损失函数数值(loss值)可能不降反增，会跳过局部最小值，甚至不收敛；
  通常可以按顺序尝试α=0.01,0.03,0.1,0.3,1,3,10等数值。
  最好是记录每次迭代的loss值，然后画出J(θ)与迭代次数的函数图，根据图像来选择合适的学习率。如下图。

2.3批量梯度下降算法和随机梯度下降算法

  批量梯度下降算法(BGD, batch gradient descent)：
$${\theta }_j={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m({\text{θ}}^T{\text{x}}^{(i)}-y^{(i)})x_j^{(i)}，反复迭代，直到收敛$$
  随机梯度下降算法(SGD, stochastic gradient descent)：
$${\theta }_j={\theta }_j-\alpha \frac{1}{m}({\text{θ}}^T{\text{x}}^{(i)}-y^{(i)})x_j^{(i)}，一个样本迭代一次或多个样本迭代一次$$
  由于批量梯度下降每前进一个步长时，都需要遍历整个训练集，所以当训练集样本个数m很大时，会耗费很长时间，效率不高。而随机梯度下降法是每遍历一个样本(或设定好一定数量的样本)就前进一个步长，所以随机梯度算法一般会比批量梯度算法更快的找到”最优解”(随机梯度算法找到的最优解一般不是最优的，而是在最优解附近摆动的，但是其得到的最终解通常都是在精度要求以内的)。所以通常情况下，在训练集样本数较大时，都倾向于使用随机梯度下降算法。
  随机梯度下降(SGD)是可行的，并且效率很高，实际中是最常用的。同时，这种拿一个样本就下降，可以保证在线学习，及时更新。当然，也可以折中，取一定样本后再下降。(在大部分教材中提到的随机梯度下降，其实是折中的随机梯度下降。也就是每次取若干个样本的平均梯度作为更新方向)。

3.线性回归的“非线性拟合”

  线性回归不只是可以拟合“线性方程”，提前计算好已有特征的非线性数值，再作为新特征值代入线性回归中，就可以拟合“非线性方程”。
  例如想要拟合的方程为：$y={\theta }_0+{\theta }_1\sin x+{\theta }_2\ln x$，但是样本中只给出了x的数值。那么只需要计算出所有样本的$\sin x$和$\ln x$的数值，然后令$x_1=\sin x,x_2=\ln x$。代入后即可得：
$$y={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$$
  因为这里的线性回归的线性，其实不是指对特征$x^{(i)}$的线性，由于我们在目标方程中真正要求解的是参数向量$\theta =({\theta }_0,{\theta }_1,\dots ,{\theta }_n{)}^{\prime }$，因此只需要对参数$\theta =({\theta }_0,{\theta }_1,\dots ,{\theta }_n{)}^{\prime }$保持线性即可。而对特征$x^{(i)}$是否线性并不影响，只需要在进行线性回归前进行适当的数据转化即可。

4.目标函数J(θ)的最小值的线性代数求法(了解)

4.1目标函数J(θ)的最小值求解过程：

  我们如此思考，将M个N维样本组成矩阵$X_{M\times N}$：
  1.X的每一行对应一个样本，共M个样本；
  2.X的每一列对应样本的一个维度，共N维(也就是模型的影响因素个数，或是同一因素不同阶数的影响)；
  3.还有一维常数项，全为1(所以实际上是N+1维)。
  所以，目标函数转换为：
$$J(\text{θ})=\frac{1}{2}\sum _{i=1}^m({\text{θ}}^T{\text{x}}^{(i)}-y^{(i)}{)}^2=\frac{1}{2}(\text{Xθ}-\text{Y}{)}^T(\text{Xθ}-\text{Y})(平方和求和等于矩阵与其转置相乘)$$
  所以，目标函数求导，也就是目标函数的梯度为：
$$\frac{\partial J(\text{θ})}{\partial \text{θ}}=\frac{\partial }{\partial \text{θ}}[\frac{1}{2}(\text{Xθ}-\text{Y}{)}^T(\text{Xθ}-\text{Y})]=\partial /\partial \text{θ}[\frac{1}{2}({\text{θ}}^T{X}^T-Y^T)(\text{Xθ}-\text{Y}]$$
$$\frac{\partial J(\text{θ})}{\partial \text{θ}}=\frac{\partial }{\partial \text{θ}}[\frac{1}{2}({\text{θ}}^T{\text{X}}^T\text{Xθ}-{\text{θ}}^T{\text{X}}^T\text{Y}+{\text{Y}}^T\text{Xθ}-{\text{Y}}^T\text{Y})]={\text{X}}^T\text{Xθ}-\frac{1}{2}{\text{X}}^T\text{Y}-\frac{1}{2}{\text{X}}^T\text{Y}=0$$
  其中，上式中使用了几个线性代数结论：
  1.当矩阵A为对称阵时，$\frac{\partial ({\text{θ}}^T\text{Aθ})}{\partial \text{θ}}=2\text{Aθ}，故\frac{\partial ({\text{θ}}^T{\text{X}}^T\text{Xθ})}{\partial \text{θ}}=2{\text{X}}^T\text{Xθ}$
  2.$\frac{\partial \text{Aθ}}{\partial \text{θ}}={\text{A}}^T，\therefore \frac{(\partial {\text{θ}}^T\text{A})}{\partial \theta }=\text{A}$。$故\frac{(\partial {\text{θ}}^T{\text{X}}^T\text{Y})}{\partial \text{θ}}={\text{X}}^T\text{Y}$
  综上所述，
  令 $\frac{\partial J(\text{θ})}{\partial \text{θ}}={\text{X}}^T\text{Xθ}-{\text{X}}^T\text{Y}=0$
  可以得到目标函数$J(\text{θ})$的驻点：
$$超级重要结论：\text{θ}=({\text{X}}^T\text{X}{)}^{-1}{\text{X}}^T\text{Y}$$
$$简单记忆方法（不正规)：\text{Xθ}=\text{Y}\Rightarrow {\text{X}}^T\text{Xθ}={\text{X}}^T\text{Y}\Rightarrow \text{θ}=({\text{X}}^T\text{X}{)}^{-1}{\text{X}}^T\text{Y}$$
  代入样本数据点X,Y之后，就可以求解得到θ的值
  但是，如果${\text{X}}^T\text{X}$不可逆怎么办？
  为了解决该问题，我们在上式中增加扰动，得到：
$$\theta =({\text{X}}^T\text{X}+\lambda \text{I}{)}^{-1}{\text{X}}^T\text{Y}$$
  其中λ>0。且λ的选择需要根据实际情况进行修改，也就是λ是可调节的参数(超参数)。(其实$\lambda \text{I}$中的$\text{I}$不是标准单位矩阵，而是第一行为0的$\text{I}$)。

  (X^T X)矩阵不可逆的常见原因，及简单的解决办法
    1).具有多余的特征，即两个特征之间关系非常紧密(例如两个特征线性相关)
    2).特征数量太多(比如特征数量大于样本数据集数量)
    解决办法：找出关系密切的特征，删去多余特征。

  为什么增加了扰动可以避免不可逆？
  ∵对于任意非零向量u，有
  ${\text{u}}^T{\text{X}}^T\text{Xu}=(\text{Xu}{)}^T\text{Xu}$,令$\text{v}=\text{Xu}$,$\therefore {\text{v}}^T\text{v}\ge 0$恒成立,$\therefore {\text{X}}^T\text{X}$是半正定矩阵
  ∴对于任意$\lambda >0，{\text{X}}^T\text{X}+\lambda \text{I}$一定是正定矩阵，因此一定可逆。(即加入扰动后，避免了${\text{X}}^T\text{X}$是全零矩阵的情况。)

  为什么增加了扰动还能防止过拟合?
  在线性回归的目标函数中加入复杂度惩罚因子(目标函数增加平方和的损失)，可以一定程度的抑制噪声数据的干扰。这种做法的本质是假定参数θ服从高斯分布。加入扰动后的目标函数如下：
$$Ridge回归：J(\text{θ})=\frac{1}{2m}\sum _{i=1}^m[({\text{θ}}^T{\text{x}}^{(i)}-y^{(i)}{)}^2]+\lambda \sum _{j=1}^n{\theta }_j^2$$
$$Lasso回归：J(\text{θ})=\frac{1}{2m}\sum _{i=1}^m[({\text{θ}}^T{\text{x}}^{(i)}-y^{(i)}{)}^2]+\lambda \sum _{j=1}^n|{\theta }_j|$$
  其中$\lambda {\sum }_{j=1}^n{\theta }_j^2$这一项，叫做正则项，这种做法叫做Ridge回归，也叫$l_2$正则(L2-norm)。同理，如果改为$\lambda {\sum }_{j=1}^n|{\theta }_j|$，则叫做Lasso回归，也叫$l_1$正则(L1-norm)。
  利用上述新的目标函数，再进行求导求驻点的操作，最终得到的结果就是上述加了扰动λ后的结果。这就解释了为什么加了扰动后的结果可以防止过拟合。

-----------------------------注释-----------------------------
  1).Ridge回归可以很简单对$\lambda {\sum }_{j=1}^n{\theta }_j^2$项求导，但是Lasso回归要如何对$\lambda {\sum }_{j=1}^n|{\theta }_j|$项求导？
  构造函数
$$f(x,\alpha )=x+\frac{1}{\alpha }\log (1+e^{-\alpha x}),x\ge 0$$
  所以有如下近似：
$$|x|\approx f(x,\alpha )+f(-x,\alpha )=\frac{1}{\alpha }\log (1+e^{-\alpha x}+1+e^{\alpha x})$$
  所以$|x|$的梯度为：
$$\nabla |x|\approx \frac{1}{(1+e^{-\alpha x}}-\frac{1}{(1+e^{\alpha x})};{\nabla }^2|x|\approx (2\alpha e^{\alpha x})/(1+e^{\alpha x}{)}^2$$
  实践中，通常取$\alpha =10^6$

  2).广义逆矩阵(伪逆矩阵)
  由$\text{Xθ}=\text{Y}\Rightarrow \text{θ}=({\text{X}}^T\text{X}{)}^{-1}{\text{X}}^T\text{Y}$可知，定义：
$${\text{A}}^{+}=({\text{A}}^T\text{A}{)}^{-1}{\text{A}}^T$$
  当$\text{A}$为可逆方阵时，可以推导得到${\text{A}}^{+}={\text{A}}^{-1}$
  当$\text{A}$为矩阵(非方阵)时，称$A^{+}$为广义逆矩阵(伪逆矩阵)
-----------------------------注释-----------------------------

4.2梯度下降法和线代直接求解法求解最优解的对比

  在线性回归中，当n比较低维的时候，可以直接用解析的方法计算。但是当n比较高维的时候，这样做就会耗费大量的计算能力。这时候最好就要用梯度下降法(Gradient Descent)。不一定能找到全局最优，但一定能找到局部最优，通常情况下，局部最优解已经可以满足任务要求了。

  差不多当n>10000时，直接求解法的效率就明显低于梯度下降法了。
  另外，梯度下降法求解的是局部最优解，而直接求解法求的是全局最优解