逻辑回归直白介绍

更多深度学习资讯都在公众号：深度学习视觉

title: 逻辑回归介绍
mathjax: true
categories: ML

原文链接：https://fainke.com
线性回归模型公式：$g(x)={\omega }_0+{\omega }_1{x}_1$

逻辑回归模型公式：$f(x)=\frac{1}{1+e^{-g(x)}}$（包含了线性回归）

在$x$条件下$y=1$发生的概率为：$P(y=1|x)=\pi (x)=\frac{1}{1+e^{-g(x)}}$

在$x$条件下$y=1$不发生的概率为：$P(y=0|x)=1-P(y=1|x)=1-\frac{1}{1+e^{-g(x)}}=\frac{e^{-g(x)}}{1+e^{-g(x)}}=\frac{1}{1+e^{g(x)}}$

事件发生与不发生的概率比（事件发生比odds）为：$\frac{P(y=1|x)}{P(y=0|x)}=\frac{p}{1-p}=e^{g(x)}$

接下来将会对这个odds进行操作。

设非线性函数$g(x)=w_0+w_1{x}_1+\dots +w_n{x}_n$

对odds取对数得到：$\ln \left(\frac{p}{1-p}\right)=g(x)=w_0+w_1{x}_1+\dots +w_n{x}_n$

假设有m个相互独立的观测样本，观测值分别为$y_1,y_2,\dots ,y_m$，设$p_i=P\left(y_i=1|x_i\right)$为给定条件下得到$y_i=1$的概率，则$y_i=0$的概率为$P\left(y_i=0|x_i\right)=1-p_i$，所以得到一个观测值的概率为：$P\left(y_i\right)=\frac{p_i^{y_i}}{{\left(1-p_i\right)}^{y_i-1}}=p_i^{y_i}{\left(1-p_i\right)}^{1-y_i}$。因为各个观测样本相互独子，那么它们的联合分布为各边缘分布的乘积。

得到似然函数为：$L(w)={\prod }_{i=1}^m{\left(\pi \left(x_i\right)\right)}^{y_i}{\left(1-\pi \left(x_i\right)\right)}^{1-y_i}$

这里似然函数的作用就是，求在所有事件发生的odds概率乘积为最大值下的参数值$w\left(w_0,w_1,\dots ,w_n\right)$，n+1个参数。

对函数$L(w)$取对数得到：$\ln L(w)={\sum }_{i=1}^m\left(y_i\ln \left[\pi \left(x_i\right)\right]+\left(1-y_i\right)\ln \left[1-\pi \left(x_i\right)\right]\right)$

接下来分别对这些$w$参数求导，得到n+1个方程。接下来以对参数$w_k$求导为例：${\left(y_i\ln \left[\pi \left(x_i\right)\right]+\left(1-y_i\right)\ln \left[1-\pi \left(x_i\right)\right]\right)}^{\prime }$
$=\frac{y_i}{\pi \left(x_i\right)}\cdot {\left[\pi \left(x_i\right)\right]}^{\prime }+\left(1-y_i\right)\cdot \frac{-{\left[\pi \left(x_i\right)\right]}^{\prime }}{1-\pi \left(x_i\right)}{)}^{\prime }$
$=\left[\frac{y_i}{\pi \left(x_i\right)}-\frac{1-y_i}{1-\pi \left(x_i\right)}\right]\cdot {\left[\pi \left(x_i\right)\right]}^{\prime }$
$=\left(y_i-\pi \left(x_i\right)\right)g^{\prime }(x)$
$=x_{ik}\left[y_i-\pi \left(x_i\right)\right]$

得出：$\frac{\partial \ln L\left(w_k\right)}{\partial w_k}={\sum }_{i=1}^m{x}_{ik}\left[y_i-\pi \left(x_i\right)\right]=0$,当梯度为0时可使得函数值最大，至此求得最优$w_k$ 。

欢迎加入微信公众号:深度学习视觉