LogisticRegression

最新推荐文章于 2022-05-11 20:40:39 发布

Tianweidadada

最新推荐文章于 2022-05-11 20:40:39 发布

阅读量316

点赞数

分类专栏：深度学习

本文链接：https://blog.csdn.net/Tianweidadada/article/details/103537307

版权

深度学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

LogisticRegression

1. $\textbf{Function Set}$

在这里插入图片描述

由于 $z = w * x + b$ 表示一条直线，直线分割的平面一半表示 $w * x + b < 0$ ,此时 $\sigma(z) < 0.5$ 。反之, $\sigma(z) > 0.5$ 。

2. $\textbf{Goodness of a Function}$

在这里插入图片描述

这里 $f_w,_b(x)$ 计算的是属于 $C_1$ 的概率。由于二项分布，所以属于 $C_2$ 的概率为 $1-f_w,_b(x)$ 。根据 $M a x i m u m L i k e l i h o o d$ ，可以得出 $L (w, b)$ 如上式。

2. 1 对上面的 $L (w, b)$ 式子做变换

在这里插入图片描述

其实变换后的式子就是 $C r o s s E n t r o p y$ ，我们可以把真实值和预测值分别看作伯努利分布 $p, q$ 。根据交叉熵公式 $H (p, q)$ 求出交叉熵，其结果等同于上面的 $L o g i s t i c R e g r e s s i o n$ 最大似然估计的推导结果。

3. Find the best function

3.1 对损失函数求偏微分

在这里插入图片描述

3.2 得到梯度，更新参数

在这里插入图片描述
可以发现，梯度反应了真实标签和预测值之间的差异。

3.3 $\textbf{LogisticRegression \ \ vs \ \ LinearRegression}$

在这里插入图片描述
不同点：（1）误差函数不一致。（2）取值范围不一致。
相同点：（1）二者梯度更新方式一致。
可见，两者的梯度更新方式是一致的，只是逻辑回归值范围被限制在（0,1）区间，而线性回归则没有限制。但是为什么 $L o g i s t i c R e g r e s s i o n$ 不使用 $\ error$ 呢? 后面会回答这个问题。

4. $\textbf{Logistic \ Regression with Square \ Error \ ?}$

4.1 当真实标签为1时候 $(\hat{y}^n=1)$

在这里插入图片描述
如果损失函数是 $\ Error$ ，损失函数对 $w_i$ 求偏微分。考虑两种情况。当 $\hat{y}^n=1$ 时，（1）若 $f_w,_b(x^n) = 1$ ,此时偏微分为0，说明函数值逼近目标值。（2）若 $f_w,_b(x^n) = 0$ ，预测函数值远没有达到目标函数值1，但是偏微分值（梯度）已经为0，几乎停止更新，这明显是不合理的。