Logistic回归推导（一）--模型介绍

一、Logistic回归

Logistic回归是一种二分类模型，它有一个线性决策边界(超平面)，但用一个非线性激活函数(Sigmoid函数)来模拟后验概率。

二、Sigmoid函数

1、数学公式

$$f(x)=\frac{1}{1+e^{-x}}$$

sigmoid函数和其反函数都是严格单调递增的，常用作阈值函数，将变量映射到（0，1）内。

2、求导$f^{{}^{\prime }}(x)=F(f(x))$

$$\begin{array}{rl}{f}^{{}^{\prime }}(x)& ={\left(\frac{1}{1+e^{-1}}\right)}^{{}^{\prime }}=\frac{0-(-e^{-x})}{(1+e^{-x}{)}^2}\\ & =\frac{e^{-x}}{(1+e^{-x}{)}^2}\\ & =\frac{1}{1+e^{-x}}\cdot \left(1-\frac{1}{1+e^{-x}}\right)\\ & =f(x)(1-f(x))\end{array}$$

三、伯努利分布

$$\{\begin{array}{rl}P(x=1)& =p,0<p<1\\ P(x=0)& =1-p\end{array}$$
对于随机变量x的概率函数：
$$f(x|p)=\{\begin{array}{rlr}& p^x(1-p{)}^{1-x},& x=0,1\\ & 0,& x\ne 0,1\end{array}$$

四、Logistic回归假设函数

线性回归是一个回归算法，而Logistic回归是一个分类算法，其样本数据集是一个离散分布的样本集，模型值是{0，1}这样的离散值而非连续值。通过sigmoid函数可将线性回归与Logistic回归联系起来。
$$h_{\theta }(x)=\delta ({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
在Logistic回归中作一个假设：样本事件符合伯努利分布，即0-1分布，则
$$\begin{array}{rl}P(y=1|x;\theta )& =h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}\\ P(y=1|x;\theta )& =1-h_{\theta }(x)\end{array}$$
简化形式为：
$$P(y|x;\theta )=[h_{\theta }(x){]}^y[1-h_{\theta }(x){]}^{(1-y)}$$

五、似然函数

$$\begin{array}{rl}L(\theta )& =\prod _{i=1}^{N}P(y^{(i)}|x^i;\theta )\\ & =\prod _{i=1}^N[h_{\theta }(x^{(i)}){]}^{y^{(i)}}[1-h_{\theta }(x^{(i)}){]}^{(1-y^{(i)})}\\ & =\prod _{i=1}^N(\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}{)}^{y^{(i)}}(1-\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}{)}^{1-y^{(i)}}\end{array}$$
Logistic回归的目标函数即为对数似然函数，进行最大似然估计则可求解
$$\underset{\theta }{\max }\iff \underset{\theta }{\max }\sum _{i=1}^n[y^{(i)}ln{h}_{\theta }(x^{(i)})+(1-y^{(i)})ln(1-h_{\theta }(x^{(i)}))]$$

六、求解

梯度上升法推导及纯python实现
牛顿法推导及纯python实现