关于矩阵使用softMax激活

于 2024-08-20 01:42:55 发布
阅读量233 收藏
点赞数 3
文章标签： 矩阵 python 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46585420/article/details/141338315
版权

softMax适合多分类,本质就是一组概率和为1的一个列表

当我们初始化一个矩阵为(2,3,4)的三维Tensor张量,在不同的维度进行softMax运算的时候,不会改变原始数据的维度,其运算逻辑如下:

当dim=-1

就是第三个维度进行softmax

就是每一行的数拿去softMax,其概率和为1:

当dim=-2时,选取的是第二个维度

进行计算后,得到的如图

红色方框内的每个值都为1

当dim = -3 时表示最外层进行softMax:

颜色相同的放进去运算算出的结果和为1

weixin_46585420
关注
极智AI | C++ 手写 softmax 激活函数
极智视界
06-21 628
大家好，我是极智视界，本文讲解一下 C++ 手写 softmax 激活函数。
【DL经典回顾】激活函数大汇总（四）（Softmax & Softplus附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 1085
Softmax和Softplus激活函数在深度学习和神经网络的文献中广泛讨论。本博客具体介绍了这两个激活函数的公式、代码实现等。
python 对矩阵与矩阵之间对应位置的元素，做softmax操作，代码实战
最新发布
L_goodboy的博客
05-14 341
python 对矩阵与矩阵之间对应位置的元素，做softmax操作，代码实战
python实现softmax函数-向量与矩阵形式
Vincent的博客
11-07 4214
python实现softmax函数-向量与矩阵形式 import numpy as np def softmax(x): """ 对输入x的每一行计算softmax。 该函数对于输入是向量（将向量视为单独的行）或者矩阵（M x N）均适用。 代码利用softmax函数的性质: softmax(x) = softmax(x + c) 参数: ...
paddle中softmax如何对矩阵进行运算
qq-1343330453
10-22 2000
softmax对矩阵操作
softmax回归
热门推荐
ACdreamer
03-27 4万+
在上一篇文章中，讲述了广义线性模型。通过详细的讲解，针对某类指数分布族建立对应的广义线性模型。在本篇文章 中，将继续来探讨广义线性模型的一个重要例子，它可以看成是Logistic回归的扩展，即softmax回归。   我们知道Logistic回归只能进行二分类，因为它的随机变量的取值只能是0或者1，那么如果我们面对多分类问题怎么 办？比如要将一封新收到的邮件分为垃圾邮件，个人邮件，还是工作
3种softmax函数python实现方式（显式循环，向量，矩阵）
wangheng673的博客
11-25 4932
Python三种方式实现Softmax损失函数计算 python实现的softmax损失函数代码，我们先回顾一下softmax损失函数的定义： 其中右边一项为第y=j项的概率值。令J(w) = log(J(w)): 损失函数的梯度：   import numpy as np """ 第一种计算softmax_loss, 在计算每一分类的概率时，用到了矩阵运算。 ""...
Pytorch nn.Softmax(dim=?) 详解
我有明珠一颗的博客
05-12 2731
有了这个d0,d1,d2,d3...的维度说明之后，我们可以去理解任意一个tensor的Softmax运算，万变不离其宗。
【Softmax激活函数】：精通多分类问题的秘籍
在现代神经网络模型中，Softmax激活函数扮演着至关重要的角色，尤其是在多分类问题的场景中。该函数能够将一系列非归一化的值转换为概率分布，每一个输出对应一个类别，并且所有的输出值之和等于1，这种性质使得...
Loss(一)-2010：Softmax Loss（Softmax激活函数 + “交叉熵损失函数”）【样本3真实标签为C₅，则样本3的损失：loss³=-log(ŷ₅³)，ŷ₅表示预测为5的概率值】
u013250861的博客
08-18 474
一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。例如我们的输入是 (x1,x2,x3,x4)=(1,2,3,4)(x_1,x_2,x_3,x_4)=(1,2,3,4)(x1​,x2​,x3​,x4​)=(1,2,3,4), 那么，Softmax就是对每个元素进行如下的操作： 打印结果： 1.2 对普通输入进行LogSoftmax LogSoftmax就是对Softmax处理后的每个元素计算 logloglog 或 lnlnln 值： 打印结果： 2、对神经网络的输出进行Sof
激活函数总结（九）：Softmax系列激活函数补充(Softmin、Softmax2d、Logsoftmax)
走在深度学习前沿的小宋
08-15 1590
本文为前面介绍的激活函数进行一定的补充，介绍了Softmax系列的激活函数，包括：Softmin、Softmax2d、Logsoftmax等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：Softmax2d、Logsoftmax是在当前环境下常用的激活函数；Softmin激活函数需要在特定情况下才能发挥其激活函数的效果！！！
机器学习——softmax计算
weixin_34194317的博客
01-03 1488
为什么80%的码农都做不了架构师？>>> ...
softmax函数的实现-解析为什么使用矩阵转置的方式
w199611027017的博客
10-14 1402
话不多少，在了解清楚softmax函数的功能以及数学表达式的前提下，使用python对softmax函数实现如下： def softmax(x): if x.ndim == 2: x = x.T # np.max(x, axis=0) 获取每列的最大值 x = x - np.max(x, axis=0) # np.sum(...
关于李沐【动手学深度学习】softmax中X样本与W权重矩阵之间的理解
qq_48903083的博客
03-04 436
李沐实现softmax回归代码中，对于样本集X和权重集合W的一些自我理解
跟李沐学AI--深度学习之softmax
weixin_56368033的博客
08-17 891
跟李沐学AI--深度学习之softmax
pytorch中nn.softmax的dim=1和dim=2的操作
weixin_43785343的博客
09-16 1966
在学习注意力机制的时候，可能需要用到nn.softmax来进行矩阵的乘法结果进行权重归一，但是对于nn.softmax的参数dim不知道具体的操作流程，于是自分别创建两个函数，对应dim=1和dim=2的时候的情况。然后创建一个实例tmp，它的shape是[batch, n, m]，所有的操作对不同的batch都是独立进行的。然后开始扔进函数里面，并打印，得到如下。tmp是长这个样子的。
torch中三维四维矩阵运算，以及多维softmax运算
baidu_15113429的博客
03-15 7364
三维矩阵*三维矩阵 import torch tensors = torch.tensor([[[1,2],[1,2],[1,2]],[[1,2],[1,2],[1,2]],[[1,2],[1,2],[1,2]]]) print(tensors.data) print(tensors.data.shape) mul_result = torch.matmul(tensors,tensors...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值