逻辑回归(Logistic Regression)推导证明

逻辑回归(Logistic Regression)推导证明

逻辑回归是一个线性模型，是机器学习的基础重要模型之一。
目标：实现分类
数据集(样本)：
$$\begin{gathered} X⊑{\mathbb{R}}^N \\ f(\mathbf{x};\omega ,b)={\omega }_1{x}_1+{\omega }_2{x}_2+...+{\omega }_N{x}_N+b \end{gathered}$$增广形式：$$f(\mathbf{x};\omega )={\omega }_0{x}_0+{\omega }_1{x}_1+{\omega }_2{x}_2+...+{\omega }_N{x}_N(x_0=1)$$
解释一下，f这个函数是典型线性模型函数。其中$$\omega ={[{\omega }_{1,}{\omega }_2,...{\omega }_N]}^T$$是N维的权重向量，b是偏置。当解决线性回归问题时，我们直接用$f(x;\omega )$即可预测输出目标。
但是在分类问题中，这样直接使用 $f(x;\omega )$ 不太好，有点不太对劲呢。所以我们引入一个非线性的决策函数$g(z)$来输出目标。
$$y=g(f(\mathbf{x};\omega ))$$
这个g(z)一般也可以说是激活函数，有很多种选择。甚至都可以自定义的。比如，类似符号函数的定义：
$$g(z)=\{\begin{array}{l}+1ifz>0\\ -1ifz<0\end{array}$$
这里函数值的+1,-1就可以作为2分类问题的输出了。比如我要区分男女，1表示男，-1表示女。这个g（z）就可以用来作为输出的函数。

逻辑回归模型

(一) 目标函数

现在正经的来介绍一下逻辑回归模型。
现在用 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}表示二分类问题的分类情况。
现在引入了概率的思路：给一个n维变量x，计算它是1类的概率，如果大于0.5就说明他是1类反正为0类。
他是 1类的概率为：$P(y=1|\mathbf{x})$
现在我们的工作就是把这个概率和线性模型看看怎么联系起来。
现在回头看看前面写的那一堆，就是在说这个事。选择一个激活函数，输出不是0就是1不久行了嘛，这个模型中选用的是sigmoid函数：
$$sigmoidg(z)=\frac{1}{1+e^{-z}}$$
它的导数很有意思：$$g^{\prime }(z)=g(z)\times \left[1-g(z)\right]$$

sigmoid函数图像为：

那么我们把他表示为概率 $P(y=1|\mathbf{x})=g(f(\mathbf{x};w))$
这一步需要想清楚！！！
我们的目标函数就是这个，现在写规范一点就是：
$$h(x)=g(f(\mathbf{x};\omega ))$$

（二）损失函数

这里使用交叉熵作为损失函数
$$loss(\omega )=-\frac{1}{N}\sum _{i=1}^N\left[y^{(i)}\log (h(x^{(i)}))+(1-y^{(i)})\log (1-h(x^{(i)}))\right]$$
求它的偏导数
$$\frac{\partial loss(\omega )}{\partial (\omega )}=-\frac{1}{N}\sum _{i=1}^N\left[\frac{y^{(i)}}{h(x^{(i)})}-\frac{(1-y^{(i)})}{1-h(x^{(i)})}\right]\frac{\partial h(x^{(i)};\omega )}{\partial (\omega )}$$
$$\Rightarrow -\frac{1}{N}\sum _{i=1}^N\left[\frac{y^{(i)}}{h(x^{(i)})}-\frac{(1-y^{(i)})}{1-h(x^{(i)})}\right]h(x^{(i)})(1-h(x^{(i)}))\frac{{\omega }^{T}x}{\partial (\omega )}$$
$$\Rightarrow -\frac{1}{N}\sum _{i=1}^N\left[y^{(i)}(1-h(x^{(i)}))-(1-y^{(i)})h(x^{(i)})\right]x^{(i)}$$
$$\Rightarrow -\frac{1}{N}\sum _{i=1}^N\left[y^{(i)}-y^{(i)}h(x^{(i)})-h(x^{(i)})+h(x^{(i)})y^{(i)}\right]x^{(i)}$$
$$\Rightarrow -\frac{1}{N}\sum _{i=1}^N\left[y^{(i)}-h(x^{(i)})\right]x^{(i)}$$
综上：
$$\frac{\partial loss(\omega )}{\partial \omega }=-\frac{1}{N}\sum _{i=1}^N\left[y^{(i)}-h(x^{(i)})\right]x^{(i)}$$
如果不是增广形式，就要带上个偏置b，同理
$$\frac{\partial loss(w;b)}{\partial b}=-\frac{1}{N}\sum _{i=1}^N\left[y^{(i)}-h(x^{(i)})\right]$$

（三）优化算法

1.梯度下降法 GD

梯度下降法详细推导

$${\omega }_{t+1}={\omega }_t-\alpha \frac{\partial loss(\omega )}{\partial \omega }(\alpha 是学习率)$$
$${\omega }_{t+1}={\omega }_t+\alpha \frac{1}{N}\sum _{i=1}^N\left[y^{(i)}-h(x^{(i)})\right]x^{(i)}$$
2.随机梯度下降法 SGD
$${\omega }_{t+1}={\omega }_t-\alpha \frac{\partial loss(\omega )}{\partial \omega }$$
只用当前点来更新
$${\omega }_{t+1}={\omega }_t+\alpha \left[y^{(i)}-h(x^{(i)})\right]x^{(i)}$$
3.牛顿法
$${\omega }_{t+1}={\omega }_t-\alpha H^{-1}(\omega )\frac{\partial loss(x;\omega )}{\partial \omega }$$
$H^{-1}$是Hessian矩阵的逆

3.拟牛顿法
后续再更新拟牛顿ba