[UFLDL-1] 监督学习和优化

线性回归

问题简介　

http://ufldl.stanford.edu/tutorial/supervised/LinearRegression/

作为一个回顾，我们将学习怎样实现线性回归。主要的目的是学习目标函数，计算它们的梯度并且在参数集上优化。这些基本的工具之后将成为更加复杂算法的基础。读者希望了解更多细节可以参考讲义上面的监督学习。

在线性回归中我们的目标是从输入向量$x \in \Re^n$中预测目标值$y$。举个例子，我们可能对房子价格做预测，$y$ 就代表房子的价格。$x$中的元素$x_j$代表房子的特征（比如他的大小和卧室的数码）。假定我们有很多房子的样例，第i个房子的特征表示为$x^{(i)}$,它的价格是$y^{(i)}$。为了简便，我们的目标是为了找到一个函数$y=h(x)$，所以对于每一个训练样例我们有$y^{(i)} \approx h(x^{(i)})$.如果我们成果找到了$h(x)$这样的函数，同时我们看到了足够多的房子和它们的价格。我们希望这样的函数$h(x)$对于一个新给定的不知道价格的房子的特征，也能对房子的价格有好的预测。

为了找到使得$y^{(i)} \approx h(x^{(i)})$的函数$h(x)$我们必须决定如何表达函数$h(x)$.要开始了，我们使用线性函数$h_\theta(x) = \sum_j \theta_j x_j = \theta^\top x$.这里$h_\theta(x)$表示由$\theta$参数化的一个很大的簇函数 （我们把这个函数空间称为“假设类”）.通过这样的$h$的表示，我们的任务是找到一个$\theta$使得$h_{\theta}{(x^{i})}$尽可能的靠近$y^{(i)}$.特别的，我们搜索$\theta$来最小化$J(\theta)$:

$$J(\theta) = \frac{1}{2} \sum_i \left( h_\theta(x^{(i)}) - y^{(i)} \right)^2 = \frac{1}{2} \sum_i\left( \theta^\top x^{(i)} - y^{(i)} \right)^2$$

这个函数是损失函数，我们的问题是度量一个选定的$\theta$在预测$y^{(i)}$时导致了多少的误差。这也称为损失，惩罚或者目标函数。

函数最小化

我们现在希望找到一个$\theta$使得给定的$J(\theta)$最小化。有许多的优化算法来最小化这个函数。我们介绍一些非常有效而且容易自己实现的梯度下降算法。现在，让我理所当然的接受这个事实大多数使用的最小化函数算法都需要我们提供2部分的信息：我们需要用代码计算$J(\theta)$和$\nabla_\theta J(\theta)$.在这之后我们剩下的优化处理就是找到最好的$\theta$来处理我们的优化算法（把梯度看作不同的目标函数，在梯度方向上增长最快，所以很容易明白优化算法怎样使用较小的$\theta$来减少（或者增加）$J(\theta)$）。

上的$J(\theta)$在给定训练集后很容易在matlab上实现。需要计算的梯度是：

$$\nabla_\theta J(\theta) = \begin{align}\left[\begin{array}{c} \frac{\partial J(\theta)}{\partial \theta_1} \\ \frac{\partial J(\theta)}{\partial \theta_2} \\ \vdots\\ \frac{\partial J(\theta)}{\partial \theta_n} \end{array}\right]\end{align}$$

微分函数表示如下：

$$\frac{\partial J(\theta)}{\partial \theta_j} = \sum_i x^{(i)}_j \left(h_\theta(x^{(i)}) - y^{(i)}\right)$$

逻辑回归

http://ufldl.stanford.edu/tutorial/supervised/LogisticRegression/

前面我们学习了如何通过输入值的线性函数（比如，房子的大小）来预测连续的数值(比如，房子价格)。有些时候我们希望预测离散的变量例如预测一个灰度值表示的是数字0或者1.这是一个分类问题。逻辑回归是学习做这样决策的简单分类算法。

在线性回归中我们试图使用线性函数$y=h_\theta(x)=\theta^T(x)$预测第i个样例$x^{(x)}$输出值$y^{(i)}$。这很明显对于一个二分类预测不是一个好的解决方案。在逻辑回归中，我们使用不同的假设类，我们试图预测一个样例属于属于1的概率与属于0的概率。特别的，我们试图学习下面的函数：

$$\begin{align} P(y=1|x) &= h_\theta(x) = \frac{1}{1 + \exp(-\theta^\top x)} \equiv \sigma(\theta^\top x),\\ P(y=0|x) &= 1 - P(y=1|x) = 1 - h_\theta(x). \end{align}$$

函数 $\sigma(z) \equiv \frac{1}{1 + \exp(-z)}$ 经常被称为sigmoid或者logistic函数。它是一个S型的函数，压缩 $\theta^Tx$ 的值到[0,1],所以我们把$h_\theta(x)$看作一个概率。我们的目标是搜索一个$\theta$值使得x属于类别1的概率$P(y=1|x)=h_\theta(x)$大于x属于类别0的概率。对于二分类的训练集我们有下面的损失函数：

$$J(\theta) = - \sum_i \left(y^{(i)} \log( h_\theta(x^{(i)}) ) + (1 - y^{(i)}) \log( 1 - h_\theta(x^{(i)}) ) \right)$$

需要注意的是上面求和的部分只有1个不为0（这取决于标签是否为0）。 当$y^i=1$最小化损失函数等价于最大化$h_\theta(x^i)$,当$y^i=0$时我们使得$1-h_\theta$最大 。全面的逻辑回归解释以及损失函数的推导，在CS229监督学习笔记里面。

我们现在有了一个损失函数来度量一个假设到底拟合训练数据到怎样程度。我们可以找到使得$J(\theta)$最小的最好的一个$\theta$来分类训练数据。一但找到了这样的函数，我们能够对一个新的数据进行分类（0、1）:如果 $P(y=1|x) > P(y=0|x)$ 分为类别1，否则类别0.这也等同于检查是否 $h_\theta(x)>0.5$

为了最小化 $J(\theta)$ 我们使用和线性回归相同的工具。我们需要计算 $J(\theta)$ 和 $\nabla_\theta J(\theta)$ ：

$$\frac{\partial J(\theta)}{\partial \theta_j} = \sum_i x^{(i)}_j (h_\theta(x^{(i)}) - y^{(i)}).$$

向量表示形式：

$$\nabla_\theta J(\theta) = \sum_i x^{(i)} (h_\theta(x^{(i)}) - y^{(i)})$$