【Pytorch】Softmax激活函数

最新推荐文章于 2024-06-12 19:05:47 发布

代码被吃掉了

最新推荐文章于 2024-06-12 19:05:47 发布

阅读量2.8k

点赞数 2

分类专栏： Python 文章标签：深度学习神经网络 Softmax 激活函数

本文链接：https://blog.csdn.net/weixin_45437022/article/details/114339456

版权

Python 专栏收录该内容

21 篇文章 4 订阅

订阅专栏

文章目录

Softmax 激活函数
Softmax 函数的偏导过程
代码模拟偏导过程

Softmax 激活函数

功能：不同的输入经过 softmax 激活函数后，所有的输出都在（0, 1）之间，其中较大的输入与其他的输入经过 softmax 函数后，他们之间的悬殊就更大了
Softmax将多个神经元的输出，映射到（0,1）区间内，并且做了归一化，所有元素的和累加起来等于1。可以直接当作概率对待，选取概率最大的分类作为预测的目标。
Softmax中使用了指数，这样可以让大的值更大，让小的更小，增加了区分对比度，学习效率更高

在这里插入图片描述

输入的 yi 中有一个 2.0 的输入，有一个 1.0 的输入，它们经过 softmax 函数后差距变得更大了

Softmax 函数的偏导过程

图解求偏导过程

在这里插入图片描述

偏导数

在这里插入图片描述

代码模拟偏导过程

import torch

a = torch.rand(3, requires_grad=True)
print(a)    # tensor([0.6645, 0.3585, 0.7826], requires_grad=True)

p = torch.nn.functional.softmax(a, dim=0)
print(p)    # tensor([0.3494, 0.2573, 0.3932], grad_fn=<SoftmaxBackward>)

ret = torch.autograd.grad(p[1], [a], retain_graph=True)
print(ret)  # (tensor([-0.0899,  0.1911, -0.1012]),)    i = 1 -> 第1个是正的
ret = torch.autograd.grad(p[2], [a])
print(ret)  # (tensor([-0.1374, -0.1012,  0.2386]),)    i = 2 -> 第2个是正的