【cs229】吴恩达MachineLearning-1/2

0. 课程计划

coursera地址
本系列相关链接：
【cs229】吴恩达MachineLearning-1/2

共计10周，目的是深入掌握基础知识点，笔记不是重复翻译，而是记录自己的疑问并及时回答自己。
你想从这个课程学到什么？如果是CV、deep learning 在内的稍微新点的方法，no，这里没有。这里是Machine Learning，是传统教程。不过类似random forest之类的其他李航书中的传统机器学习算法也是不包含的。
如果给它一个定位，应该是通往DL的桥梁、理论基础。

1. Introduction

2. Linear Regression

2.1 hypothesis

由于历史原因，表征从输入空间到输出空间的函数，称之为hypothesis.

2.2 objective function

区别于损失函数的概念：

目标是求出使损失函数$J({\theta }_0,{\theta }_1)$最小的参数。

2.3 contour figure

同一条线的函数值相同；

2.4 Gradient Descent

梯度下降算法对所有参数同时做update;

2.4.1 convex function

• bowl-shaped function
• 初始值的扰动，可能使得陷入不同的局部最小值

2.4.2 learning rate

朴素的梯度下降算法中${\theta }_i={\theta }_i-\alpha \frac{\partial }{\partial {\theta }_i}J({\theta }_0,...,{\theta }_n)$，导致在偏导大/斜率大/陡峭的地方修正的多，在偏导小/斜率小/平坦的地方修正少，这样合理吗？

2.4.3 Batch Gradient Descent

根据一批/batch数据，更新一次参数；

2.5. Linear Algebra

在这个教程中，矩阵(常用大写字母表示)、向量（常用小写字母表示）的小标从1开始（1-indexed）；

Vector: An $n\times 1$ matrix;

注意，这里补充的4个1使的维度匹配，这也是为什么\theta_0称为bias。

Neural Network中bias的概念类似：

SIMD/GPU/TPU等现在硬件可以高效计算矩阵乘；

矩阵乘符合结合律，不符合交换律；

Identity Matrix指单位矩阵；

没有逆矩阵的矩阵称为singular(奇异矩阵)或者degenerate（退化矩阵/非满秩矩阵）；

2.6 Multivariate Linear Regression

$h_{\Theta }(x)={\Theta }^{T}x,x\in R^n$
${\Theta }_i={\Theta }_i-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\Theta }(x^{(i)})-y^{(i)})\cdot x_i^{(i)}$

2.6.1 feature scale

特征的数据量纲相距非常大，可能导致收敛慢！因此有必要做数据归一化。
减均值除范围$x_i\leftarrow \frac{x_i-x_{\mu }}{x_{max}-x_{min}}$，可以将数据规范化到$[-1,1]$之间，其中分母也可以用标准差代替，这样就规范化到$N(0,1)$标准正态分布了。

2.6.2 Polynomial Regression

通过用$x=zt,x=z^2,x=z^3,x=\sqrt{z}$等等方式替换，可以将多项式回归问题蜕化到线性回归问题。

2.6.3 Computing Parameters Analytically

design matrix $X$ 中的每一行都是样本$(x^{(i)}{)}^T$，所以$X$的维度是：
$$\begin{array}{rl}X& ⇢m\times (n+1)\\ X\theta & =y\\ X^T(X\theta )& =X^{T}y\\ (X^{T}X{)}^{-1}(X^{T}X)\theta & =(X^{T}X{)}^{-1}{X}^{T}y=\theta \end{array}$$
还有另外一种求法：
$$\begin{array}{rl}J(\theta )& =\frac{1}{2m}[\sum _{i=1}^m(h_{\theta }(x)-y{)}^2]\\ \frac{\partial }{\partial {\theta }_j}J(\theta )& =\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i){x_j}^i\\ \frac{\partial }{\partial \theta }J(\theta )& =\frac{1}{m}{X}^T(X\theta -y)\\ & \Downarrow 令其=0\\ X^{T}X\theta & =X^{T}y\\ (X^{T}X{)}^{-1}{X}^{T}X\theta & =(X^{T}X{)}^{-1}{X}^{T}y=\theta \end{array}$$
大多数情况下$(X^{T}X)$可逆，即使不可逆(inv)，octave之类的软件也会计算出大约的逆，pinv(pseudo inv).
不可逆的情况例如：

• 样本量m过小（m<n+1）
• n个特征中有冗余

3. Logistic Regression

• 逻辑回归按道理应该是“Logistic Classification”，这个命名是个历史问题；
• 线性回归有其弊端，例如增加一个没有信息量的新样本，却会改变模型；
• 逻辑回归能保证输出范围 $0⩽h_{\theta }(x)⩽1$
• feature scaling 同样适用于逻辑回归；

3.1 sigmoid function

sigmoid function = logistic function
$$\begin{array}{rl}{h}_{\theta }(x)& =g({\theta }^{T}X)=P(y=1\mid x;\theta )\\ g(z)& =\frac{1}{1+e^{-z}}\\ g(z{)}^{-1}& =(-1)\times (1+e^{-z}{)}^{-2}\times (-1)\times (e^{-z})\\ & =\frac{e^{-z}}{(1+e^{-z}{)}^2}=\frac{1+e^{-z}-1}{(1+e^{-z}{)}^2}=\frac{1}{1+e^{-z}}-\frac{1}{(1+e^{-z}{)}^2}\\ & =\frac{1}{1+e^{-z}}(1-\frac{1}{1+e^{-z}})\\ & =g(z)(1-g(z))\end{array}$$

3.2 Decision Boundary

边界情况就是$h_{\theta }(x)={\theta }^{T}X=0.5$;
根据sigmoid函数的特性可知，$P\ge 0.5$ 等效于 $({\theta }^{T}X)\ge 0$.

3.3 Cost function

线性回归中的损失函数是：
$$\begin{array}{rl}cost(h_{\theta }(x),y)& =\frac{1}{2}(h_{\theta }(x)-y{)}^2\\ J(\theta )& =\frac{1}{m}\sum _{j=1}^{m}cost(h_{\theta }(x),y)=\frac{1}{m}\sum _{j=1}^m\frac{1}{2}(h_{\theta }(x)-y{)}^2\end{array}$$
如果计算方式不变，则逻辑回归的损失函数是：
$$\begin{array}{rl}cost(h_{\theta }(x),y)& =\frac{1}{2}(h_{\theta }(x)-y{)}^2\\ & =\frac{1}{2}(\frac{1}{1+e^{-{\theta }^{T}x}}-y{)}^2\\ J(\theta )& =\frac{1}{m}\sum _{j=1}^m\frac{1}{2}(g({\theta }^{T}X)-y{)}^2\end{array}$$

由于sigmoid函数的存在，使得此时$J(\theta )$不是凸函数（non-convex），有很多局部最优解。

损失最小等效于似然最大，而概率为：
$P(y\mid x;\theta )={h_{\theta }(x)}^y{(1-h_{\theta }(x)}^{1-y}$；
对应的极大似然函数为：
$L(\theta )={\Pi }_{j=0}^{m}P(y^j\mid x^j;\theta )$;
等效于使下式最大（前提：概率都是非负数）：
$$\begin{array}{rl}log(L(\theta ))& =log({\Pi }_{j=0}^{m}P(y^j\mid x^j;\theta ))\\ & =log({\Pi }_{j=0}^m{h_{\theta }(x)}^y{(1-h_{\theta }(x)}^{1-y})\\ & =\sum _{j=0}^{m}ylog(h_{\theta }(x))+(1-y)log(1-h_{\theta }(x))\\ & =-mJ(\theta )\end{array}$$
所以目标极大似然等效于目标损失最小；
$$\begin{array}{rl}J(\theta )& =\frac{1}{m}\sum _{j=0}^m-ylog(h_{\theta }(x))-(1-y)log((1-h_{\theta }(x))\\ cost(h_{\theta }(x),y)& =-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))\\ & =\{\begin{array}{ll}-log(h_{\theta }(x))& \text{if }y=1\\ -log(1-h_{\theta }(x))& \text{if }y=0\end{array}\end{array}$$

更舒服的是，这个损失函数满足convex。
这样的损失函数正好也是交叉熵损失函数，具体来说：
假设有两个分布$p(x)$和$q(x)$，则两者的交叉熵为：
$H(p,q)=-p(x)log(q(x))$
熵越小越接近，这里$p(x)$对应真实分布，$q(x)$为$\theta$刻画的估计分布；

$$\begin{array}{rl}g(z)& =\frac{1}{1+e^{-z}}\\ \frac{\partial }{\partial z}g(z)& =g(z)(1-g(z))\\ h_{\theta }(x)& =g({\theta }^{T}x)\\ \frac{\partial }{\partial \theta }{h}_{\theta }(x)& =h_{\theta }(x)(1-h_{\theta }(x))x\\ J(\theta )& =\frac{1}{m}\sum _{j=0}^m-ylog(h_{\theta }(x))-(1-y)log((1-h_{\theta }(x))\\ \frac{\partial }{\partial \theta }J(\theta )& =-\frac{1}{m}\sum _{j=0}^m[y\frac{1}{h_{\theta }(x)}\frac{\partial }{\partial \theta }{h}_{\theta }(x)+(1-y)\frac{1}{1-h_{\theta }(x)}(-1)\frac{\partial }{\partial \theta }{h}_{\theta }(x)]\\ & =-\frac{1}{m}\sum _{j=0}^m[y\frac{1}{h_{\theta }(x)}{h}_{\theta }(x)(1-h_{\theta }(x))x+(y-1)\frac{1}{1-h_{\theta }(x)}{h}_{\theta }(x)(1-h_{\theta }(x))x]\\ & =\frac{1}{m}\sum _{j=0}^m(h_{\theta }(x)-y)x（方便书写，没带上标）\\ \theta :& =\theta -\alpha \frac{\partial }{\partial \theta }J(\theta )\\ & =\theta -\alpha \frac{1}{m}\sum _{j=0}^m(h_{\theta }(x^j)-y^j)x^j\end{array}$$
巧合的是，最终逻辑回归的$\theta$的更新公式看起来跟线性回归的公式完全相同，只是两者的$h_{\theta }(x)$本身有区别。

3.4 Optimization algorithm

• batch/mini-batch/stochastic gradient descent
• conjugate gradient
• BFGS
• L-BFGS

3.5 Multiclass Classification

将K分类问题，切分成K个二分类，训练好的K个分类器给出K个得分，取得分最高的作为预测的输出。
这么麻烦吗？

3.6 Overfitting & Regularization

解决方案：

• 减少特征数量
• 正则化（降低${\theta }_0$的幅度）
  正则化影响convex吗？
  不影响：
  https://blog.csdn.net/yyxyuxueYang/article/details/81534965

正则化的理论，$\theta$值小可以带来：

• 更简单的假设
  （例如在costFunc中加一个$\lambda {{\theta }_3}^2$项，则收敛时${\theta }_3$必然很小）
  （$\lambda$过大时，收敛时$\theta$过小，underfitting）
• 更不容易过拟合
  加入正则项之后，线性回归的Normal Equation最优解为：
  $$\begin{array}{rl}J(\theta )& =\frac{1}{2m}[\sum _{i=1}^m(h_{\theta }(x)-y{)}^2+\lambda \sum _{j=1}^n{{\theta }_j}^2]({\theta }_0并不惩罚)\\ & \Downarrow j\ge 1时\\ \frac{\partial }{\partial {\theta }_j}J(\theta )& =[\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i){x_j}^i]+\frac{\lambda }{m}{\theta }_j\\ \frac{\partial }{\partial \theta }J(\theta )& =\frac{1}{m}{X}^T(X\theta -y)+\frac{\lambda }{m}\theta \\ & \Downarrow 令其=0\\ X^{T}X\theta +\lambda \theta & =X^{T}y\\ (X^{T}X+\lambda {)}^{-1}(X^{T}X+\lambda )\theta & =(X^{T}X+\lambda {)}^{-1}{X}^{T}y=\theta \\ & \Downarrow 囊括{\theta }_0\\ \theta & =(X^{T}X+\lambda \left[\begin{array}{cc}0& 0\\ 0& I_{n\times n}\end{array}\right]{)}^{-1}{X}^{T}y\end{array}$$

加入正则项之后，逻辑回归的Normal Equation最优解为：
$$\begin{array}{rl}J(\theta )& =[\frac{1}{m}\sum _{i=0}^m-ylog(h_{\theta }(x))-(1-y)log((1-h_{\theta }(x))]+\frac{\lambda }{2m}\sum _{j=1}^n{{\theta }_j}^2\\ & \Downarrow j\ge 1时\\ \frac{\partial }{\partial {\theta }_j}J(\theta )& =\frac{1}{m}\sum _{i=0}^m(h_{\theta }(x^i)-y^i){x_j}^i+\frac{\lambda }{m}{\theta }_j\\ & \Downarrow \\ {\theta }_j:& ={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )\\ & ={\theta }_j-\alpha [\frac{1}{m}\sum _{i=0}^m(h_{\theta }(x^i)-y^i){x_j}^i+\frac{\lambda }{m}{\theta }_j]\\ & =(1-\alpha \frac{\lambda }{m}){\theta }_j-\alpha \frac{1}{m}\sum _{i=0}^m(h_{\theta }(x^i)-y^i){x_j}^i\end{array}$$