Logistic回归和Softmax回归对比

人鱼线

已于 2023-06-02 08:48:31 修改

阅读量1.2k

点赞数 2

分类专栏：机器学习文章标签：回归数据挖掘人工智能

于 2019-08-25 21:09:04 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qfikh/article/details/100066588

版权

机器学习专栏收录该内容

43 篇文章 7 订阅

订阅专栏

Logistic回归最后一层是sigmoid

Softmax回归最后一层是softmax:

Logistic回归

主要应用于二分类问题,回归问题的表达式: $y=\theta ^{T}x$ , 将得到的y值经过sigmoid函数转化为二分类问题.

表示y=1的概率,

其中

单个样本的概率分布:

m个样本的概率分布 --> 似然函数:

对数似然函数:

损失函数:

二分类交叉熵损失：

多分类交叉熵损失：

Ref：多分类的交叉熵和二分类的交叉熵有什么联系？ - 知乎

对数损失函数：就是把所有二分类交叉熵损失取均值。

$\large -\frac{1}{m}\sum_{i=1}^{m}y_ilog(h_\theta(x_i))+(1-y_i)log(1-h_{\theta(x_i)})$

Ref：https://blog.csdn.net/qq_38625259/article/details/88371462

深入理解交叉熵损失/对数损失：深入理解交叉熵 / 对数损失 - 知乎

Softmax回归

softmax 回归主要解决的是K分类的问题, 向量 $\theta _{1}$ 将样本分为第一类和其他; 向量 $\theta _{2}$ 将剩余的样本分为第二类和其他.... $\theta$ 实际应该是一个 n*k 的二维矩阵，由k个列向量组成，转置后QT就是k*n的 (下图中的应该是QT=二维矩阵),能够将样本分成k类，QT乘以x 其实就是分别从Q中抽取出第k个行向量然后转置乘以x，然后计算得到样本的概率分布。

单个样本的概率分布:

下式中 $h_{\theta }(x^{(i)})$ 得到的是一个k维列向量,元素分别表示该样本属于每一类的概率

损失函数:

下面应该是K个列向量组成Qk

关注

2
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。