分类和逻辑回归(Classification and logistic regression)

这一章将主要讨论分类问题，相比于回归问题，分类问题的预测值$y$并非连续的数，而是一些离散的数值。现在我们会集中在二项分类问题（即只有0和1两个值），二项问题中的结论大部分都可以推广到多类问题中。比如，我们要构造一个垃圾邮件分类器，$x^{(i)}$表示电子邮件的一些特征，$y = 1$代表垃圾邮件，$y=0$则不是。

5 逻辑回归

如果解决分类问题时先忽略$y$是离散值得限定，用老的线性回归方法去拟合曲线就会发现构造的模型表现很差。直观来说，当我们知道$y \in \{0,1\}$时，假设函数$h_\theta(x)$预测超过1或小于0的情况，都是没有意义的。

为了达到这个目标，我们需要变换$h_\theta(x)$的形式：

$$h_\theta(x) = g(\theta^T x) = \frac{1}{1 + e^{- \theta^T x}},$$

其中：

$$g(z) = \frac{1}{1 + e^{-z}}$$

被称为逻辑函数或sigmoid函数，下面是一个逻辑函数的曲线图：

逻辑函数的值域就在(0,1)之间，除此以外逻辑函数还有一个很优秀的性质就是方便求导：

$$\begin{align} g'(z) &= \frac{d}{dz}\ \frac{1}{1 + e^{-z} } \\ &= \frac{1}{(1 + e^{-z})^2 }(e^{-z}) \\ &= \frac{1}{(1 + e^{-z})} \cdot \left( 1 - \frac{1}{(1 + e^{-z})} \right) \\ &= g(z)(1 - g(z)). \\ \end{align}$$

对当前的回归模型，我们应该如何选择参数$\theta$呢？接下来我们会证明在一系列概率假设后，最小方差回归会是这个模型的极大似然估计量。

我们不妨先假设，输出y为0或1的概率分别是：

$$\begin{align} &P(y=1|x;\theta) = h_\theta(x) \\ &P(y=0|x;\theta) = 1 - h_\theta(x) \\ \end{align}$$

则y的概率密度公式可写为：

$$p(y|x;\theta) = (h_\theta(x))^y(1 - h_\theta(x))^{1-y}$$

假设m个样本是独立生成的，我们可以写下它们的似然函数：

$$\begin{align} L(\theta) &= p(\vec{y}|X;\theta) \\ &= \prod_{i=1}^m p(y^{(i)} | x^{(i)};\theta) \\ &= \prod_{i=1}^m (h_\theta(x^{(i)}))^{y^{(i)}} (1 - h_\theta(x^{(i)}))^{1-y^{(i)}} \end{align}$$

再化简为对数似然函数：

$$\begin{align} \ell(\theta) &= \text{log} L(\theta) \\ &= \sum_{i=1}^m \ y^{(i)} \text{log}\ h(x^{(i)}) + (1 - y^{(i)}) \text{log} (1 - h(x^{(i)}))\\ \end{align}$$

我们应该如何求解极大似然？和之前的线性回归类似，我们可以使用梯度上升法。用向量标记表示我们每一步的更新：$\theta := \theta + \alpha \nabla_\theta \ell(\theta)$。我们先计算对数似然函数的梯度：

$$\begin{align} \frac{\partial}{\partial \theta_j} \ell(\theta) &= \left( y \frac{1}{g(\theta^T x)} - (1 -y)\frac{1}{1 - g(\theta^T x)} \right) \frac{\partial}{\partial \theta_j} g(\theta^T x) \\ &= \left( y \frac{1}{g(\theta^T x)} - (1 -y)\frac{1}{1 - g(\theta^T x)} \right) g(\theta^T x)(1 - g(\theta^T x)) \frac{\partial}{\partial \theta_j} \theta^T x \\ &= (y(1 - g(\theta^T x)) - (1 -y)g(\theta^T x))x_j \\ &= (y - h_\theta(x))x_j \end{align}$$

上面的推导中用到了$g'(z) = g(z)(1 - g(z))$这一结论。那我们的随机梯度上升法：

$$\theta_j := \theta_j + \alpha(y^{(i)} - h_\theta(x^{(i)})) x_j^{(i)}$$

如果把这个公式和LMS更新方法比较，会发现形式上几乎是一致的。但要注意它们不是同一种算法，因为这次的假设$h_\theta(x)$是以$\theta^T x$为输入的非线性函数。但他们更新步骤上一致性，到底是一种巧合还是有某些深层原因呢？这点在后面的广义线性模型中会详细论述。