Coursera - 机器学习基石 - 课程笔记 - Week 10

Logistic Regression

Logistic Regression Problem

• 二元分类：尝试明确“是”或者“否”
• “软”二元分类：尝试明确“是”的概率$P(+1|\mathbf{x})$
• 我们希望在完成第二个任务时，希望能够有直接对应的标签（概率），但是只有第一个任务的结果
  • 将二元标签（是和否）视为概率式标签的含噪声版本
  • 使用和“硬”二元分类相同的数据，希望得到一个不同的目标函数
• 逻辑假设
  • 和线性回归一样，对输入的特征$\mathbf{x}$，使用加权和处理之：$s={\sum }_{i=0}^d{w}_i{x}_i$
  • 将结果值$s$使用逻辑函数$\theta (s)$映射为一个预估概率
• 逻辑函数$\theta (s)=\frac{1}{1+e^{-s}}$
  • 平滑
  • 单调
  • s型（sigmoid）
• 逻辑回归的假设$h(\mathbf{x})=\frac{1}{1+\exp (-{\mathbf{w}}^T\mathbf{x})}$

Logistic Regression Error

• 逻辑回归的目标函数$P(y|\mathbf{x})=\{\begin{array}{ll}f(\mathbf{x})& \text{y = +1}\\ 1-f(\mathbf{x})& \text{y = -1}\end{array}$
• 对一组数据 D = { ( x 1 , + 1 ) , ( x 2 , − 1 ) , … , ( x N , − 1 ) , } \mathcal D = \{ (\bold x_1, +1), (\bold x_2, -1), \ldots, (\bold x_N, -1), \} D={(x1​,+1),(x2​,−1),…,(xN​,−1),}:
  • 目标函数产生该数据集的概率：$P({\mathbf{x}}_1)f({\mathbf{x}}_1)\times \dots \times P({\mathbf{x}}_N)(1-f({\mathbf{x}}_N))$
  • 假设产生该数据集的可能性（替换之）：$P({\mathbf{x}}_1)h({\mathbf{x}}_1)\times \dots \times P({\mathbf{x}}_N)(1-h({\mathbf{x}}_N))$
  • 如果$h\approx f$，那么$likelihood(h)\approx pfromf$
  • 来自f的概率通常很大
• 选择：$g=\underset{h}{\arg }\max likelihood(h)$
• 根据逻辑函数性质：$1-h(\mathbf{x})=h(-\mathbf{x})$
  • 发现关系：$likelihood(h)\propto {\prod }_{n=1}^{N}h(y_n{\mathbf{x}}_n)$
• 交叉熵损失：
  • $\min_{\bold w} \ \frac 1N \sum_{n=1}^N err(\bold w, \bold x_n, y_n) $
  • $err(\mathbf{w},{\mathbf{x}}_n,y_n)=\ln (1+\exp (-y_n{\mathbf{w}}^T{\mathbf{x}}_n))$

Gradient of Logistic Regression Error

• 这个误差函数的特点：连续，可微，二次可微，凸形
• 最小值：局部谷底，$\nabla E_{in}(\mathbf{w})=0$
• 梯度：$\nabla E_{in}(\mathbf{w})=\frac{1}{N}{\sum }_{n=1}^N\theta (-y_n{\mathbf{w}}^T{\mathbf{x}}_n)(-y_n{\mathbf{x}}_n)$
• 梯度复杂，无法直接找到为0的位置——迭代优化方法
  • 步长$\eta$和幅度（速度）$\mathbf{v}$用于决定梯度的优化方向

Gradient Descent

• 基本思路：迭代优化法${\mathbf{w}}_{t+1}\leftarrow {\mathbf{w}}_t+\eta \mathbf{v}$
  • 对PLA算法，$\mathbf{v}$来自错误修正
  • 对逻辑回归的平滑错误，需要让$\mathbf{v}$
  • 给定$\eta >0$：$\underset{\Vert \mathbf{v}\Vert =1}{\min }{E}_{in}({\mathbf{w}}_t+\eta \mathbf{v})$
• 限制性解决，线性方程局部近似(泰勒展开，这里$\eta$很小)：$E_{in}({\mathbf{w}}_t+\eta \mathbf{v})\approx E_{in}({\mathbf{w}}_t)+\eta {\mathbf{v}}^T\nabla E_{in}({\mathbf{w}}_t)$
• $ \bold v$优化思路：与梯度完全反方向$\bold v = - \frac {\nabla E_{in}(\bold w_t)}{| \nabla E_{in}(\bold w_t) |}$
• 梯度下降，对于一个小的$\eta$，${\mathbf{w}}_{t+1}\leftarrow {\mathbf{w}}_t-\eta \frac{\nabla E_{in}({\mathbf{w}}_t)}{\Vert \nabla E_{in}({\mathbf{w}}_t)\Vert }$
• 对$\eta$的选择
  • 太小：太慢
  • 太大：越过最大值，震荡
  • 合适的：先大后小，逐渐地接近最小值
• 启发式改变η
  • 单调于$\Vert \nabla E_{in}({\mathbf{w}}_t)\Vert$
  • 令固定学习率η为上述η与$\Vert \nabla E_{in}({\mathbf{w}}_t)\Vert$的比值
  • 固定学习率梯度下降${\mathbf{w}}_{t+1}\leftarrow {\mathbf{w}}_t-\eta \Vert \nabla E_{in}({\mathbf{w}}_t)\Vert$
• 迭代优化
  • 计算$\nabla E_{in}(\mathbf{w})=\frac{1}{N}{\sum }_{n=1}^N\theta (-y_n{\mathbf{w}}^T{\mathbf{x}}_n)(-y_n{\mathbf{x}}_n)$
  • 更新权重${\mathbf{w}}_{t+1}\leftarrow {\mathbf{w}}_t-\eta \Vert \nabla E_{in}({\mathbf{w}}_t)\Vert$
  • 直到$\nabla E_{in}({\mathbf{w}}_{t+1})\approx 0$或者足够多次迭代