Logistic回归:一种有监督学习的二元分类模型

最新推荐文章于 2024-07-06 18:51:02 发布

KangKang——

最新推荐文章于 2024-07-06 18:51:02 发布

阅读量440

点赞数 4

分类专栏：深度学习知识文章标签：回归学习分类

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/m0_51263060/article/details/137832209

版权

深度学习知识专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1.Logistic回归基础知识

二分类模型：根据x，判断y是否为0或1。

目标：输入x，判断y=1的概率，即 $\hat{y}$ ，其 $0\leqslant \hat{y}\leqslant1$ , $x\epsilon R^{n_{x}}$

参数： $\omega \epsilon R^{n_{x}},b\epsilon R$

输出： $\hat{y}=\sigma(w^{T}+b)$ , $\sigma$ 为sigmod()函数，其中 $\sigma (z)=\frac{1}{1+e^{-z}}$

（1）logistic模型

（2）损失函数Loss

$\pounds (\hat{y},y)=-(ylog\hat{y}+(1-y)log(1-\hat{y}))$

损失函数用于衡量单一训练样例的效果

（3）成本函数Cost

$\begin{matrix} J(w,b)=\frac{1}{m}\sum_{i=1}^{m}\pounds (\hat{y}^{(i)},y^{(i)}) =-\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}log\hat{y}^{(i)}+(1-y^{(i)})log(1-\hat{y}^{(i)})] \end{matrix}$

成本函数用于衡量w和b的效果，在全部训练集上来衡量。

（4）梯度下降法

梯度下降法适用于处理成本函数为凸函数，用来训练或学习训练集上参数w和b,确定出来拥有最小成本函数的参数w和b。

计算原理：

$w:=w-\alpha \frac{\partial J(w,b)}{\partial w}$ $b:=b-\alpha \frac{\partial J(w,b)}{\partial b}$

也可写成 $w:=w-\alpha dw$ $b:=b-\alpha db$

其中 $\alpha$ 为学习率，可以控制每次迭代或梯度下降的步长。

logistic回归的成本函数为凸函数，因此可以使用梯度下降法，每次从初始点开始朝着最陡的下坡走一步，进而可以找到接近全局最优解的结果。若成本函数为非凸函数，则有可能会陷入局部最优解。

2.单个训练样本的Logistic回归梯度下降法（计算某一项损失函数）

logistic回归公式求损失函数

计算流程图的正向传播，从左到右计算成本函数J

计算流程图的反向传播，从右向左计算导数

假设样本只有两个特征 $x_{1},x_{2}$ ,则需要三个参数 $w_{1},w_{2},b$

Logistic回归向前传播

Logistic回归向后传播

3.训练集m个样本的梯度下降法（计算成本函数，实际上为1到m项损失函数和的平均）

（1）logistic回归公式求成本函数

计算各参数的偏导数，即全局梯度值（假设样本只有两个特征 $x_{1},x_{2}$ ,则需要三个参数 $w_{1},w_{2},b$ ）

（2）求数据集m项的Logistic回归一次迭代的计算梯度过程

更新参数，为下次迭代做准备：

（3）求数据集m项向量化的Logistic回归的梯度计算过程

（向量化可以去显示for循环，加快运行速度）

更新参数，为下次迭代做准备：

关注

4
点赞
踩
9

收藏

觉得还不错? 一键收藏
1
评论
Logistic回归:一种有监督学习的二元分类模型

每次从初始点开始朝着最陡的下坡走一步，进而可以找到接近全局最优解的结果。若成本函数为非凸函数，则有可能会陷入局部最优解。梯度下降法适用于处理成本函数为凸函数，用来训练或学习训练集上参数w和b,确定出来拥有最小成本函数的参数w和b。成本函数用于衡量w和b的效果，在全部训练集上来衡量。为学习率，可以控制每次迭代或梯度下降的步长。计算流程图的正向传播，从左到右计算成本函数J。计算流程图的反向传播，从右向左计算导数。为sigmod()函数，其中。：输入x，判断y=1的概率，即。
复制链接

扫一扫

专栏目录

KangKang—— CSDN认证博客专家 CSDN认证企业博客

码龄4年

9: 原创

51万+: 周排名

8万+: 总排名

4939: 访问

: 等级

189: 积分

63: 粉丝

97: 获赞

2: 评论

98: 收藏

私信

关注

热门文章

分类专栏

最新评论

机器学习基础知识
CSDN-Ada助手: 推荐 Python入门技能树：https://edu.csdn.net/skill/python?utm_source=AI_act_python
Logistic回归:一种有监督学习的二元分类模型
CSDN-Ada助手: 非常棒的博文！你对Logistic回归的解释清晰明了，让人受益匪浅。希望你能继续分享更多关于监督学习和分类模型的知识。此外，如果你想深入了解模型评估和调参的话题，或讨论特征工程的重要性，可能会对你的学习和实践有所帮助。期待看到你更多的精彩内容！继续加油！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2
Logistic回归:一种有监督学习的二元分类模型
CSDN-Ada助手: 非常精彩的博文！通过对Logistic回归的深入解析，我对这种有监督学习的二元分类模型有了更清晰的认识。不过除了梯度下降法和成本函数的相关知识外，你可能也会对特征工程、模型评估指标、模型调参等内容感兴趣。这些都是在实际应用中非常重要的扩展知识和技能，相信你掌握后会更加游刃有余地运用Logistic回归模型。期待你更多的创作，加油！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2

您愿意向朋友推荐“博客详情页”吗？

强烈不推荐
不推荐
一般般
推荐
强烈推荐

提交

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。