逻辑回归公式推导

文章参考周志华《机器学习》

机器学习离不开模型，算法，激活函数。
逻辑回归使用线性回归的的预测结果去逼近对数几率，所以使用的模型和线性回归一样。逻辑回归使用的激活函数为S型函数中的对数几率函数，公式以及曲线如下：

$$y=\frac{1}{1+e^{-z}}$$

而逻辑回归从输入的特征值计算出输出值的更新公式为：
$$h(\theta)=\frac{1}{1+e^{-(\theta^T x+b)}}$$
其中， $h(\theta)$为模型输出的值， $y$为实际值。逻辑回归是线性回归引入对数几率，可有上式得出：
$$ln \frac{h(\theta)}{1-h(\theta)}=\theta^T x+b$$
由上式可以看出对数以及几率的概念。同时，逻辑回归就是在线性回归的基础上引入了这两个概念产生的。此时，假定输出的预测值 $h(\theta)$为0，在二分类任务中，上式可写成概率的形式：

$$ln\frac{p(h(\theta)=0)}{p(h(\theta)=1)}=\theta^T x+b$$

由概率公式可得，也可以有更新公式易知：

p(h(θ)=0)=eθ