关于矩阵使用softMax激活

最新推荐文章于 2025-10-01 07:20:08 发布
原创 最新推荐文章于 2025-10-01 07:20:08 发布 · 592 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#矩阵 #python #算法

softMax适合多分类,本质就是一组概率和为1的一个列表

当我们初始化一个矩阵为(2,3,4)的三维Tensor张量,在不同的维度进行softMax运算的时候,不会改变原始数据的维度,其运算逻辑如下:

当dim=-1

就是第三个维度进行softmax

就是每一行的数拿去softMax,其概率和为1:

当dim=-2时,选取的是第二个维度

进行计算后,得到的如图

红色方框内的每个值都为1

当dim = -3 时表示最外层进行softMax:

颜色相同的放进去运算算出的结果和为1

极智AI | C++ 手写 softmax 激活函数
极智视界
06-21 713
大家好，我是极智视界，本文讲解一下 C++ 手写 softmax 激活函数。
深度学习图解，第 4 部分：循环神经网络关于 RNN 内部工​​作原理和 Softmax 激活函数的图解和直观指南
2401_85233349的博客
07-21 1223
欢迎来到。今天，我们将深入探讨循环神经网络。我们将讨论一些熟悉的概念，例如输入、输出和激活函数，但会有一些不同。如果这是您踏上这段旅程的第一站，请务必先阅读之前的文章，尤其是部分和部分。欢迎来。到今天，我们将深入探讨循环神经网络。我们将讨论一些熟悉的概念，例如输入、输出和激活函数，但会有一些不同。如果这是您踏上这段旅程的第一站，请务必先阅读之前的文章，尤其是部分和部分。循环神经网络 (RNN) 是专门设计用于处理独特模型，其中下一个位置依赖于前一个状态。用一个简单示例来解释什么是基于序列的问题。
python实现softmax函数-向量与矩阵形式
Vincent的博客
11-07 4464
python实现softmax函数-向量与矩阵形式 import numpy as np def softmax(x): """ 对输入x的每一行计算softmax。 该函数对于输入是向量（将向量视为单独的行）或者矩阵（M x N）均适用。 代码利用softmax函数的性质: softmax(x) = softmax(x + c) 参数: ...
softmax回归
热门推荐
ACdreamer
03-27 4万+
在上一篇文章中，讲述了广义线性模型。通过详细的讲解，针对某类指数分布族建立对应的广义线性模型。在本篇文章 中，将继续来探讨广义线性模型的一个重要例子，它可以看成是Logistic回归的扩展，即softmax回归。   我们知道Logistic回归只能进行二分类，因为它的随机变量的取值只能是0或者1，那么如果我们面对多分类问题怎么 办？比如要将一封新收到的邮件分为垃圾邮件，个人邮件，还是工作
神经网络之Softmax激活函数求导过程
最新发布
无风听海
10-01 873
项目内容函数定义siezi∑jezjsi​∑j​ezj​ezi​​对自己求导∂si∂zisi1−si∂zi​∂si​​si​1−si​对他人求导∂si∂zk−sisk∂zk​∂si​​−si​sk​Jacobian 矩阵Jdiags−ss⊤Jdiags−ss⊤应用多分类输出层、交叉熵损失的梯度计算。
动手学深度学习——softmax回归的从零开始（代码详解）
qq_38473254的博客
07-16 2565
sum运算符：给定一个矩阵X，我们可以对所有元素求和（默认情况下）。也可以只求同一个轴上的元素，即同一列（轴0）或同一行（轴1）。对每个项求幂（使用exp）；对每一行求和（小批量中每个样本是一行），得到每个样本的规范化常数；将每一行除以其规范化常数，确保结果的和为1。
python 对矩阵与矩阵之间对应位置的元素，做softmax操作，代码实战
L_goodboy的博客
05-14 647
python 对矩阵与矩阵之间对应位置的元素，做softmax操作，代码实战
paddle中softmax如何对矩阵进行运算
qq-1343330453
10-22 2368
softmax对矩阵操作
多分类情况使用softmax函数激活
hallobike的博客
11-10 2960
softmax多分类 对数几率回归解决的是二分类问题，对于多分类问题，我们可以使用softmax函数，它是对数几率回归在N个可能的值上的推广。 神经网络的原始输出不是一个概率值，实质上是输入函数的值做了复杂的加权和非线性处理后的一个值，那如何将这个输出变为概率分布呢？这就是softmax层的作用。 softmax公式： softmax层要求每个样本必须属于某个类别，且所有可能的样本均被覆盖。 softmax的样本分量之和为1，当只有两个类别时，与对数几率回归完全相同。在tf.keras里，对于多分类问题我
激活函数总结（九）：Softmax系列激活函数补充(Softmin、Softmax2d、Logsoftmax)
生活需要深度
08-02 1798
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU)。到此，使用 激活函数总结（九） 已经介绍完毕了！
深入理解激活函数之softmax
zhuguiqin1的专栏
09-21 1万+
本篇文章将解释 softmax 函数，它与负对数似然（negative log-likelihood）的关系以及它在执行反向传播算法时的导数。 什么是 Softmax 函数 softmax 函数首先是一个函数，它将含有K 个实值的向量转换为 K 个总和为1的实值向量。向量的K个输入值可以是正数、负数、零或大于 1，但 softmax 能将它们转换为介于0 和 1，因此它们可以被解释为概率。如果其中一个输入较小或为负，则softmax将其变成小概率，如果输入较大，则将其变成大概率，但始终保持在0和1之间。 s
3种softmax函数python实现方式（显式循环，向量，矩阵）
wangheng673的博客
11-25 5193
Python三种方式实现Softmax损失函数计算 python实现的softmax损失函数代码，我们先回顾一下softmax损失函数的定义： 其中右边一项为第y=j项的概率值。令J(w) = log(J(w)): 损失函数的梯度：   import numpy as np """ 第一种计算softmax_loss, 在计算每一分类的概率时，用到了矩阵运算。 ""...
【白话机器学习系列】白话 Softmax
略懂……略懂……
11-14 9926
本文深入浅出地讲解了 Softmax 函数的原理和作用。
python softmax函数
周永行的博客
08-13 8788
数学公式 对于 x∈R1×n, softmax(x)=softmax([x1x2…xn])=[ex1∑jexjex2∑jexj...exn∑jexj]对于 x∈R1×n, softmax(x)=softmax([x1x2…xn])=[ex1∑jexjex2∑jexj...exn∑jexj] \text{对于 } x \in \mathbb{R}^{1\t...
矩阵的乘法、乘积(点积）和softmax函数的溢出
深度学习领域优质创作者，CSDN博客专家
07-27 3235
矩阵的点积在神经网络里面很常见也很重要，所以相关的一些属性需要非常熟悉，比如形状(shape)，维度(ndim) 两个数组能够做点积运算，需要查看形状对应的个数是否一致，不一致就会报错，比如2x3的形状和3x2的形状就可以，因为第一个矩阵的列和第二个矩阵的行的数量是一样的，点积之后的形状取决于第一个矩阵的行和第二个矩阵的列，具体点积的结果是怎么样的，如下图： 只要符合上述条件，矩阵和一维数组也可以进行点积的运算 另外softmax函数简单介绍下，...
SoftMax函数
且慢
08-30 1304
SOFTMAX回归模型 softmax回归跟线性回归⼀样将输⼊特征与权重做线性叠加。与线性回归的⼀个主要不同在于，softmax回归的输出值个数等于标签⾥的类别数。 softmax函数是一个单层的神经网络，例如由一个例子： 4个输入特征，三个类别 计算方法： 但是这样输出的值并不能代表分类的结果，因为有的输出的值为100，无法表示是三个类别重的哪一类。 softmax运算符（softmax operator）解决了这个问题。 softmax运算符 ...
关于李沐【动手学深度学习】softmax中X样本与W权重矩阵之间的理解
qq_48903083的博客
03-04 561
李沐实现softmax回归代码中，对于样本集X和权重集合W的一些自我理解
UFLDL深度学习笔记 （二）SoftMax 回归(矩阵化推导)
weixin_30385925的博客
06-25 235
UFLDL深度学习笔记 （二）Softmax 回归 本文为学习“UFLDL Softmax回归”的笔记与代码实现，文中略过了对代价函数求偏导的过程，本篇笔记主要补充求偏导步骤的详细推导。 1. 详细推导softmax代价函数的梯度 经典的logistics回归是二分类问题，输入向量$ x^{(i)}\in\Re^{n+1}$ 输出0,1判断\(y^{(i)}\in{\{0,1\}}\)，Softm...
Softmax算法笔记
weixin_69718693的博客
01-15 1186
根据前面的定义，定义softmax函数。输入一个矩阵X，对其按行作Softmax操作。SoftmaxXijexpXij∑kXikSoftmaxXij​∑k​Xik​expXij​​# 进行测试X_Prob, X_Prob.sum(1) # 按行求和。
softmax矩阵
04-03
### Softmax 函数与矩阵运算 Softmax 是一种常用于机器学习和神经网络中的激活函数，主要用于多分类问题的概率分布估计。它的核心作用是将输入向量转换成一个概率分布形式的输出向量。 #### 原理概述 对于给定的一个 n 维实数向量 \( z = [z_1, z_2, ..., z_n] \)，Softmax 的定义为： \[ \text{softmax}(z_i) = \frac{\exp(z_i)}{\sum_{j=1}^{n}\exp(z_j)}, i = 1, 2, ..., n \] 其中，\( \exp(x) \) 表示自然指数函数 \( e^x \)[^1]。该公式的核心在于通过对每个元素取指数并归一化的方式，使得最终的结果是一个合法的概率分布（即所有分量之和等于 1）。 当扩展到矩阵时，假设有一个形状为 \( m \times n \) 的矩阵 \( Z \)，则可以逐行或者逐列地应用上述公式来完成 Softmax 运算[^2]。 #### 实现方法 以下是 Python 中基于 NumPy 库实现 Softmax 函数的方法： ```python import numpy as np def softmax(Z): """ 计算矩阵Z的Softmax值 参数: Z -- 输入矩阵/数组 (shape: m x n) 返回: S -- 输出经过Softmax处理后的矩阵 (shape: m x n) """ exp_Z = np.exp(Z - np.max(Z, axis=-1, keepdims=True)) # 防止数值溢出 S = exp_Z / np.sum(exp_Z, axis=-1, keepdims=True) return S ``` 此代码片段实现了对任意大小矩阵的 Softmax 转换操作，并且通过减去每行的最大值防止了因指数爆炸而导致的数值不稳定问题[^3]。 #### TensorFlow 中的应用实例 如果是在 TensorFlow 框架下，则可以直接调用内置的 `tf.nn.softmax` 方法来进行类似的变换： ```python import tensorflow as tf # 创建随机张量 tensor_input = tf.random.uniform((2, 3), minval=-1., maxval=1.) y_pro = tf.nn.softmax(tensor_input) print("Input Tensor:\n", tensor_input.numpy()) print("\nAfter applying Softmax:") print(y_pro.numpy()) # 验证总和是否接近于1 print("\nThe sum of probabilities along the last dimension:", tf.reduce_sum(y_pro, axis=-1).numpy()) ``` 这段程序展示了如何利用 TensorFlow 对二维张量执行 Softmax 变换以及验证结果是否满足概率性质的要求——沿指定轴方向上的各元素相加之和应近似等于 1。 #### 注意事项 - **维度保持不变**: 不论是对哪条轴做 Softmax 处理，原数据结构的空间布局都不会发生变化；仅改变的是内部数值关系。 - **稳定性考量**: 在实际编程过程中需特别注意浮点精度带来的潜在风险，比如采用合适的缩放策略规避过大或过小数值引发的问题。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值