Logistic回归/线性Logistic分类器

Logistic回归（Logistic Regression, LR）- 线性Logistic分类器

线性Logistic分类器（linear logistic classifier, LLC）是以下形式的二元分类器：
$$h(\mathbf{x};\mathbf{w},b)=\{\begin{array}{ll}+1& \text{if}\sigma (u(\mathbf{x}))>{\sigma }_{threshold}\\ -1& \text{otherwise}\end{array}$$

• threshold 一般为 0.5。

• 我们将其称为线性分类器，是因为它内部的函数 $u(\mathbf{x})={\mathbf{w}}^{\top }\mathbf{x}+b$ 是线性的。

• 而称为逻辑分类器，是因为外部的函数 $\sigma (z)=\frac{1}{1+e^{-z}}$ 是逻辑函数。

---

Sigmoid/Logistic函数

$$\sigma (z)=\frac{1}{1+e^{-z}}$$

• 取值范围在0到1之间，即 $0\le \sigma (z)\le 1$。在二分类问题中可以将预测值映射到0和1之间的概率。

• 平滑函数，即在整个定义域上都是连续可导的。可以进行梯度下降等优化方法。

---

LLC的损失函数 - 负对数似然函数（Negative Log Likelihood, NLL）

定义预测概率为：$g^{(i)}=\sigma ({\mathbf{w}}^{\top }\mathbf{x}+b)$，这里 $\sigma (z)=\frac{1}{1+e^{-z}}$

则数据集 ${\mathcal{D}}_n$ 的概率 $P={\prod }_{i=1}^n\{\begin{array}{ll}{g}^{(i)}& \text{if}{y}^{(i)}=1\\ 1-g^{(i)}& \text{else}\end{array}$

将 $P$ 重写为 $P={\prod }_{i=1}^n{g}^{{(i)}^{y^{(i)}}}(1-g^{(i)}{)}^{(1-y^{(i)})}$，两边取对数
$$\log P=\sum _{i=1}^n(y^{(i)}\log g^{(i)}+(1-y^{(i)})\log (1-g^{(i)}))$$

我们最小化 $L={\sum }_{i=1}^n{L}_{nll}(g^{(i)},y^{(i)})$，其中
$$L_{nll}(g^{(i)},y^{(i)})=-(y^{(i)}\log g^{(i)}+(1-y^{(i)})\log (1-g^{(i)}))$$

负对数似然函数（Negative Log Likelihood, NLL）写作：

$$L_{nll}(g,y)=-(y\log g+(1-y)\log (1-g))$$

也称为 log loss 或 交叉熵(cross entropy)损失函数

---

机器学习问题：LLC

• 数据集： ${\mathcal{D}}_n=\{({\mathbf{x}}^{(1)},y^{(1)}),\cdots ,({\mathbf{x}}^{(n)},y^{(n)})\}$

• 假设空间： H = { h ( x ; w , b ) = σ ( w ⊤ x + b ) } \mathscr{H} = \{h(\bold{x};\bold{w},b) = \sigma(\bold{w}^\top\bold{x}+b)\} H={h(x;w,b)=σ(w⊤x+b)}

• 损失函数： $L_{nll}(g^{(i)},y^{(i)})=-(y^{(i)}\log g^{(i)}+(1-y^{(i)})\log (1-g^{(i)}))$

目标函数（代价函数）：
$$J_{lr}(\mathbf{w},b;{\mathcal{D}}_n)=\frac{1}{n}\sum _{i=1}^n{L}_{nll}(\sigma ({\mathbf{w}}^{\top }\mathbf{x}+b),y^{(i)})+\lambda \Vert \mathbf{w}{\Vert }^2$$

最小化目标函数：

• 求解使目标函数 $J_{lr}$ 取最小值的参数 $\mathbf{w},b$
• 目标函数 $J_{lr}$ 不一定有解析解，可以用梯度下降或随机梯度下降方法

---

LR的梯度下降法

LR-Gradient-Descent(${\mathbf{w}}_{init},b_{init},\eta ,ϵ$)

    Initialize

        ${\mathbf{w}}^{(0)}={\mathbf{w}}_{init}$

        $b^{(0)}=b_{init}$

        $t=0$

    Repeat

        $t=t+1$

         w ( t ) = w ( t − 1 ) − η { 1 n ∑ i = 1 n [ σ ( w ( t − 1 ) ⊤ x + b ( t − 1 ) ) − y ( i ) ] x ( i ) + 2 λ w ( t − 1 ) } \bold{w}^{(t)}=\bold{w}^{(t-1)} - \eta\{ \frac{1}{n}\sum_{i=1}^n[\sigma(\bold{w}^{(t-1)\top}\bold{x}+b^{(t-1)})-y^{(i)}]\bold{x}^{(i)} + 2\lambda\bold{w}^{(t-1)} \} w(t)=w(t−1)−η{n1​∑i=1n​[σ(w(t−1)⊤x+b(t−1))−y(i)]x(i)+2λw(t−1)}

         b ( t ) = b ( t − 1 ) − η { 1 n ∑ i = 1 n [ σ ( w ( t − 1 ) ⊤ x + b ( t − 1 ) ) − y ( i ) ] } b^{(t)} = b^{(t-1)} - \eta\{ \frac{1}{n}\sum_{i=1}^n[\sigma(\bold{w}^{(t-1)\top}\bold{x}+b^{(t-1)})-y^{(i)}] \} b(t)=b(t−1)−η{n1​∑i=1n​[σ(w(t−1)⊤x+b(t−1))−y(i)]}

    Until  $J_{lr}({\mathbf{w}}^{(t)},b^{(t)})-J_{lr}({\mathbf{w}}^{(t-1)},b^{(t-1)})<ϵ$

    Return  ${\mathbf{w}}^{(t)},b^{(t)}$