逻辑斯蒂回归模型

逻辑回归是线性回归的拓展形式，主要用来解决二分类问题$(0/1)$。

线性回归

线性回归公式：
$${\theta }^{T}x={\theta }_{1}x+{\theta }_{2}x+\dots \dots +{\theta }_{n}x$$
其中$x\in R^n$。

逻辑回归

将线性函数的输出压缩进区间$(0,1)$。
该值可以解释为概率：
$$P(y|x;\theta )={\sigma }_{({\theta }^{T}x)}$$
其中${\sigma }_{()}$函数被称为$sigmoid$函数或$logistic$函数，其表达式为：
$${\sigma }_{(x)}=\frac{1}{1+e^{-x}}$$
其图像为：

逻辑斯蒂回归模型

逻辑斯蒂回归模型是如下的条件概率分布：
$$P(Y=1|x)=\frac{e^{\omega x+b}}{1+e^{\omega x+b}}$$
$$P(Y=0|x)=\frac{1}{1+e^{\omega x+b}}$$
其中，$x\in R^n$是输入，$Y\in [0,1]$是输出，权重向量$\omega \in R^n$，偏置$b\in R$。
为了简化等式，将权重向量和输入向量加以扩充，仍记作$\omega ,x$，即$\omega =({\omega }^{(1)},{\omega }^{(2)},\dots ,{\omega }^{(n)},b{)}^T,x=(x^{(1)},x^{(2)},\dots ,x^{(n)},1{)}^T$。这时，逻辑斯蒂回归模型为：
$$P(Y=1|x)=\frac{e^{\omega x}}{1+e^{\omega x}}$$
$$P(Y=0|x)=\frac{1}{1+e^{\omega x}}$$
记$P(Y=1|x)={\pi }_{(x)},P(Y=0|x)=1-{\pi }_{(x)}$。
对于给定的训练数据集$T=[(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)]$，其中，$x_i\in R^n$，$y_i\in [0,1]$，可以运用极大似然估计法估计模型参数$\omega$。
因为$P(Y=1|x)={\pi }_{(x)},P(Y=0|x)=1-{\pi }_{(x)}$，则似然函数为：
$$L_{(\omega )}=\prod _{i=1}^N[{\pi }_{(x_i)}{]}^{y_i}[1-{\pi }_{(x_i)}{]}^{1-y_i}$$
取对数得：
$$L_{(\omega )}=\sum _{i=1}^N[y_{i}log({\pi }_{(x_i)})+(1-y_i)log(1-{\pi }_{(x_i)})]$$
$$=\sum _{i=1}^N[y_{i}log\frac{{\pi }_{(x_i)}}{1-{\pi }_{(x_i)}}+log(1-{\pi }_{(x_i)})]$$
$$=\sum _{i=1}^N[y_i(\omega x_i)-log(1+e^{\omega x_i})]$$
对$L_{(\omega )}$求极大值，得到$\omega$的估计值。
$$\frac{\partial L_{(\omega )}}{\partial \omega }=\sum _{i=1}^N[y_i{x}_i-\frac{e^{\omega x_i}}{1+e^{\omega x_i}}{x}_i]=0$$
而这是一个超越方程，不可解。
对于求极大值问题，可以转化为求其负数的极小值问题，并使用梯度下降法求得最优解。
此处，$\frac{\partial L_{(\omega )}}{\partial \omega }$即为梯度。
设初始$\omega$为${\omega }_0$，则：
$${\omega }_1={\omega }_0-\alpha \frac{\partial L_{({\omega }_0)}}{\partial {\omega }_0}$$
循环不断更新$\omega$知道取得最优值。
而此时每计算一次梯度都需要遍历一遍样本，计算量十分巨大，占用内存过大。
所以，对于大规模样本，可以使用随机梯度下降法$(SGD)$，即每次只取总样本中的$batch$个样本进行一次梯度下降，其优点为更新梯度更快，占用内存更少。