softmax函数和sigmoid函数的异同

softmax函数:

多分类输出概率结果总和为1,每个分类或者时间不相互独立(互斥)

Softmax =多类别分类问题=只有一个正确答案=互斥输出(例如手写数字,鸢尾花)

例子:做图片分类时,一个图片只能对应一个分类,所以使用softmax求解在所有类别中,预测图片为哪个类别的概率大。例如手写数据集中图片8,正确的只可能是8,或者预测错误为其他类别,不可能同时出现两个结果,既是8又是3.

sigmoid函数:

多分类输出概率结果总和可能不为1,每个分类或者类别相互独立

Sigmoid =多标签分类问题=多个正确答案=非独占输出(例如胸部X光检查、住院)

例子:sigmoid一般用作原因分析或者医疗影像中,通过病人的CT推断病人入院的原因,从CT图像中可以看出很多种可能,可能是因为肺病、肿瘤、先天性疾病等原因,这几种原因是不互斥的,可以同时出现也可以单独存在,既每个分类是独立的。

总结

综合上面的解释给出下面的例子:

如果你在开发一个音乐分类的应用,需要对k种类型的音乐进行识别,那么是选择使用 softmax 分类器呢,还是使用 logistic 回归算法建立 k 个独立的二元分类器呢?
这一选择取决于你的类别之间是否互斥,例如,如果你有四个类别的音乐,分别为:古典音乐、乡村音乐、摇滚乐和爵士乐,那么你可以假设每个训练样本只会被打上一个标签(即:一首歌只能属于这四种音乐类型的其中一种),此时你应该使用类别数 k = 4 的softmax回归。(如果在你的数据集中,有的歌曲不属于以上四类的其中任何一类,那么你可以添加一个“其他类”,并将类别数 k 设为5。)
如果你的四个类别如下:人声音乐、舞曲、影视原声、流行歌曲,那么这些类别之间并不是互斥的。例如:一首歌曲可以来源于影视原声,同时也包含人声 。这种情况下,使用4个二分类的 logistic 回归分类器更为合适。这样,对于每个新的音乐作品 ,我们的算法可以分别判断它是否属于各个类别。
现在我们来看一个计算视觉领域的例子,你的任务是将图像分到三个不同类别中。(i) 假设这三个类别分别是:室内场景、户外城区场景、户外荒野场景。你会使用sofmax回归还是 3个logistic 回归分类器呢? (ii) 现在假设这三个类别分别是室内场景、黑白图片、包含人物的图片,你又会选择 softmax 回归还是多个 logistic 回归分类器呢?
在第一个例子中,三个类别是互斥的,因此更适于选择softmax回归分类器 。而在第二个例子中,建立三个独立logistic回归分类器更加合适。

参考:Softmax 原理及 Sigmoid和Softmax用于分类的区别 - Jerry_Jin - 博客园

softmax,sigmoid函数在使用上的区别是什么? - 知乎

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值