sigmoid和softmax总结

sigmoid函数(也叫逻辑斯谛函数):
 引用wiki百科的定义:

A logistic function or logistic curve is a common “S” shape (sigmoid curve).

其实逻辑斯谛函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线。

这里写图片描述

logistic曲线如下:
  这里写图片描述

同样,我们贴一下wiki百科对softmax函数的定义:

softmax is a generalization of logistic function that “squashes”(maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1.

这句话既表明了softmax函数与logistic函数的关系,也同时阐述了softmax函数的本质就是将一个K维的任意实数向量压缩(映射)成另一个K

维的实数向量,其中向量中的每个元素取值都介于(0,1)之间。

softmax函数形式如下:
  这里写图片描述

总结:sigmoid将一个real value映射到(0,1)的区间(当然也可以是(-1,1)),这样可以用来做二分类。
而softmax把一个k维的real value向量(a1,a2,a3,a4…)映射成一个(b1,b2,b3,b4…)其中bi是一个0-1的常数,然后可以根据bi的大小来进行多分类的任务,如取权重最大的一维。

  • 46
    点赞
  • 164
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
sigmoidsoftmax都是常用的激活函数,主要用于在神经网络中进行分类任务。 sigmoid函数是一种将实数映射到0到1之间的函数,其公式为f(x) = 1 / (1 + exp(-x))。它主要用于二分类任务,将输入的实数转换为概率值,表示为属于正类的概率。sigmoid函数的特点是输出值在0和1之间,可以对输入进行压缩,同时保留了输入之间的大小关系。因此,sigmoid函数可以用于判断不同类别的元素,并且区分属于同一类的元素谁更属于该类。然而,sigmoid函数在输入趋近于正无穷或负无穷时,输出值趋近于0或1,这可能导致梯度消失的问题,影响了反向传播的效果。 softmax函数是一种将实数向量映射到概率分布的函数,其公式为softmax(x) = exp(x) / sum(exp(x))。它主要用于多分类任务,将输入的实数向量转换为一个概率分布,表示为属于每个类别的概率。softmax函数的特点是将输入进行归一化,使得所有输出概率之和为1。因此,softmax函数可以用于将输入分类到不同的类别,并且可以同时处理多个类别之间的关系。softmax函数在计算上比sigmoid函数复杂一些,因为它需要对输入进行指数运算和求和运算。 总结起来,sigmoid函数适用于二分类任务,softmax函数适用于多分类任务。sigmoid函数将实数映射到0到1之间,而softmax函数将实数向量映射到概率分布。两者都可以用于神经网络中的激活函数,用于在分类任务中转换输入为概率值或概率分布。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [softmaxsigmoid函数的理解](https://blog.csdn.net/qq_31267769/article/details/108203560)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值