逻辑回归（对数几率回归）Logistic Regression

---

前言

逻辑回归方法用来处理分类问题（classification）。

分类问题（classification）的输出是离散值，比如二分类（binary classification）–输出True或者False。这里主要利用二分类来说明逻辑回归方法。

---

一、引入知识

1.样本特征（feature）

样本特征为影响预测目标y的关键，也即为y的属性。

比如预测房价，特征可以取房子面积大小、房子所处楼层、房子建成年数等等。
假设样本有多个特征，特征数为n，即为 $x_1{x}_2...x_n$

2.决策边界（Decision Boundary）

决策边界是能够把样本正确分类的一条边界。

类似线性回归中的假设函数（hypothesis function），可以定义正样本为边界内的样本，负样本为边界外的样本，具体取决于具体问题。

假设决策边界为
$$w_1{x}_1+w_2{x}_2+...+w_n{x}_n+b=0$$
其中，$w$ 和 $b$ 为待求参数（parameters)，故决策边界是由参数来决定的，后面的操作就是为了求得参数的优解。

决策边界也可为非线性多项式。这里采用线性决策边界来说明。

3.假设函数（hypothesis function）

根据决策边界，假设函数为
$$z(x)=w_1{x}_1+w_2{x}_2+...+w_n{x}_n+b$$
决策边界即为 $z(x)=0$

设单个样本特征向量为$\vec{x}=[x_1,x_2,...,x_n]$，参数$\vec{w}=[w_1,w_2,...,w_n]$
故假设函数可写成$z(x)=\vec{w}\cdot \vec{x}+b$

由于是处理二分类问题，即需要输出为0或1，故将输出再通过sigmoid函数处理，使其值介于0~1之间。sigmoid函数如下：
$$g(z)=sigmoid(z)=\frac{1}{1+e^{-z}}$$
其图像如下：

由函数图像可以看出，
当$z=0$ 时，$y=0.5$，即对应为决策边界；
当$z>0$时，$0.5<y<1$，决策边界的一边为正（负）样本；
当$z<0$ 时，$0<y<0.5$，决策边界的另一边为负（正）样本。
故可规定当 $y>=0.5$，输出为1；当$y<0.5$，输出为0。
这样即可完成二分类输出。

用概率统计来描述，相当于0-1分布,即
$P(y=1|z)=sigmoid(z)=\frac{1}{1+e^{-z}}=\frac{}{1+e^z}$