逻辑回归

1、逻辑回归概述

简单来说，逻辑回归模型就是讲线性回归模型的结果输入一个sigmoid函数，将回归值映射到0 ~ 1，表示输出为类别 1 的概率。

2、逻辑回归原理

2.1、逻辑回归模型

线性回归表达式如下：
$$z_i=\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b}$$
式中 ${\mathbf{x}}_i$ 是第 $i$ 个样本的 $N$ 个特征组成的特征向量，即 ${\mathbf{x}}_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(N)})$； $ \boldsymbol{w}$ 为 $N$ 个特征对应的特征权重组成的向量，即 $\mathbf{w}=(w_1,w_2,...,w_N)$；$\mathbf{b}$ 是第 $i$ 个样本对应的偏置常数。
sigmoid函数：
$$y_i=\frac{1}{1+e^{-z_i}}$$
其中，$z_i$ 是自变量， $y_i$ 是因变量，$e$ 是自然常数。
在线性回归的结果上套一个sigmoid函数就能得到逻辑回归的结果，即
$$y_i=\frac{1}{1+e^{-z_i}}=1+e^{-(\mathbf{w}\cdot {\mathbf{x}}_i}$$