激活函数总结（九）：Softmax系列激活函数补充(Softmin、Softmax2d、Logsoftmax)

最新推荐文章于 2024-06-12 19:05:47 发布
最新推荐文章于 2024-06-12 19:05:47 发布
阅读量1.3k 收藏 5
点赞数 2
分类专栏： 深度学习 文章标签： 机器学习 人工智能 python 激活函数 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36758270/article/details/132192309
版权
本文主要介绍了Softmin、Softmax2d和Logsoftmax三种激活函数，它们在多类别分类问题中各有应用。Softmin关注最低得分的类别，Softmax2d作用于矩阵每一行，而Logsoftmax提供了数值稳定性并简化计算。这些函数在神经网络的输出层常被使用。
摘要由CSDN通过智能技术生成

激活函数总结（九）：Softmax系列激活函数补充

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：
在这里插入图片描述

最后，对于文章中没有提及到的激活函数，大家可以通过评论指出，作者会在后续的文

了解本专栏 订阅专栏 解锁全文 超级会员免费看
sjx_alo
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
激活函数---softmax
xys430381_1的专栏
12-20 426
softmax 小白都能看懂的softmax详解 转载自：https://blog.csdn.net/bitcarmanlee/article/details/82320853
Softmax激活函数
qianchedu的博客
03-27 5331
在多分类问题中，我们通常回使用softmax函数作为网络输出层的激活函数，softmax函数可以对输出值进行归一化操作，把所有输出值都转化为概率，所有概率值加起来等于1，softmax的公式为 简单的Softmax计算例子 例如某个神经网络有3个输出值，为[2,4,4]. 计算e1 = 1,e5=5,e3=3, e1+e5+e3 = 10 p1 = e1/(e1+e5+e3) = 0.2 p2 = e5/(e1+e5+e3) = 0.4 p3 = e2/(e1+e5+e3) = 0.4
激活函数的作用之Softmax函数详解与举例（小白可入）
最新发布
m0_51200050的博客
06-12 1074
激活函数的作用之Softmax函数详解与举例（小白可入）
softmax激活函数
thy0000的博客
10-14 7212
Softmax激活函数是一种用于多类别分类问题的激活函数，通常用于神经网络的输出层。它将原始分数（也称为logits）转换为表示概率分布的数值，使得每个类别的概率值都在0和1之间，并且所有类别的概率之和等于1。这使得它适用于多类别分类问题，其中每个样本只能属于一个类别。Softmax函数的数学定义如下：对于给定的原始分数（logits）z = [z1, z2, …, zn]，Softmax函数将这些分数转换为概率分布p = [p1, p2, …, pn]
softmax激活函数理解
qq_43460068的博客
11-19 1050
这篇讲的非常详细易懂！
softmax激活函数的求解过程
yyangzhenjie的博客
12-14 786
原文出处：https://www.cnblogs.com/alexanderkun/p/8098781.html softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 更形象的如下图表示： softmax直白来说...
关于tensorflow softmax函数用法解析
09-16
在深度学习中，Softmax函数是一种常用的激活函数，主要用于将原始数据转换成概率分布的形式，通常被应用于多分类问题的最后一层神经网络中。在TensorFlow框架中，`tf.nn.softmax`函数提供了实现这种功能的能力。 ##...
Keras 中Leaky ReLU等高级激活函数的用法
09-16
在深度学习领域，激活函数是神经网络模型中不可或缺的一部分，它们负责为神经元引入非线性，使得模型能够处理更复杂的数据模式。本篇文章主要关注Keras中的一种高级激活函数——Leaky ReLU，以及如何在实践中应用它...
Pytorch损失函数nn.NLLLoss2d()用法说明
09-16
在使用nn.NLLLoss2d()之前，通常需要先通过nn.Softmax()函数计算每个像素类别的概率分布，然后再应用nn.LogSoftmax()得到对数概率。 nn.NLLLoss2d()的输入参数包括两个：预测输出张量和目标标签张量。预测输出张量...
tensorflow常用函数API介绍
09-17
- **ReLU**: `tf.nn.relu(features, name=None)` —— 应用ReLU激活函数。 - **卷积2D（Convolution2D）**: `tf.nn.conv2d(input, filters, strides, padding, use_cudnn_on_gpu=None, data_format=None, dilations=...
RBF-Softmax
03-14
gif后面是在MNIST上训练的RBF-Softmax的2D特征可视化。 随着训练的进行，内部阶级的距离越来越小。 功能可见。 介绍 培训和测试RBF-Softmax 由于RBF-Softmax使用作为代码库，因此大多数安装遵循pycls。 请参考以...
matlab+卷积/池化/全连接/softmax
03-09
最后，softmax函数（Softmax Function）常用于多分类问题，它可以将网络的输出转换为概率分布。softmax将每个类别的得分归一化，使得所有类别的概率和为1。MATLAB中，`softmax`函数可以实现这一转换，确保模型的输出...
tf API：网络构建模块tf.nn，tf.layers， tf.contrib
01-06
属于基础操作，常见包括卷积（conv、conv_transpose、dilation2D、separable_conv）、池化（avg_pool，max_pool）、归一化（batch_normalization）、部分loss（ctc_loss）、激活函数（relu，crelu、swish）、分类...
Tensorflow常用函数(非常详细).pdf
11-17
TensorFlow提供了许多用于张量变换的函数，例如Softmax函数、激活函数、卷积运算等。 - tf.nn.softmax(logits, name=None)：Softmax函数用于多分类问题中的概率计算。 - tf.nn.sigmoid(x, name=None)：Sigmoid函数...
machine_photo_data.zip
05-09
softmax函数在多分类问题中常用于最后一层，它将每个类别的概率归一化，使得所有类别的概率之和为1。这使得我们可以直接解读输出，知道每个零件类别的概率。 Keras是一个高级的深度学习库，基于TensorFlow等后端，...
【DL经典回顾】激活函数大汇总（十五）（LogSoftmax附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-16 1179
LogSoftmax函数由于其在数值稳定性和与交叉熵损失计算结合的高效性方面的优势，已经成为多分类深度学习模型设计的重要组成部分。本博客重点介绍这个激活函数。
Log_Softmax()激活函数、NLLLoss()损失函数、CrossEntropyLoss()损失函数浅析
Lyndon0_0的博客
02-23 6976
Log_Softmax()激活函数、NLLLoss()损失函数、CrossEntropyLoss()损失函数 1. Log_Softmax()激活函数。 Softmax() 函数的值域是 [0,1][0, 1][0,1]，公式： σ(z)j=ezj∑k=1nezk\sigma(z)_j =\frac{e^{z_j}}{\sum_{k=1}^{n} {e^{z_k}}}σ(z)j​=∑k=1n​...
softmax函数
weixin_49252254的博客
08-14 160
softmax()函数常用做机器学习问题中的分类问题（区分男女，猫狗…）的输出函数。 softmax函数的输出是0.0-1.0之间的实数，并且函数的输出值的总和为1。 我们可以把softmax函数的输出解释为概率。 softmax()函数要进行指数运算，指数函数值容易非常大，使运算结果出现不确定的情况 def softmax(a): #a为数列 c = np.max(a) exp_a = np.exp(a-c) #溢出对策 sum_exp_a = np.sum(exp_a)
softmax和softmax2d
03-04
softmax是一种常用的激活函数，主要用于多分类问题中。它将一个向量的实数值转化为概率分布，使得每个元素的取值范围在0到1之间，并且所有元素的和为1。softmax函数的定义如下： 对于一个具有n个元素的向量x = [x1, x2, ..., xn]，softmax函数的计算公式如下： softmax(x) = [e^x1 / (e^x1 + e^x2 + ... + e^xn), e^x2 / (e^x1 + e^x2 + ... + e^xn), ..., e^xn / (e^x1 + e^x2 + ... + e^xn)] 其中，e表示自然对数的底数。 softmax2d是对二维矩阵进行softmax操作的扩展。它将每一行作为一个向量，对每一行进行softmax操作，得到一个概率分布。这样可以处理多个样本同时进行分类。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值