5.8 Pytorch Softmax函数讲解

最新推荐文章于 2024-07-18 12:30:11 发布
最新推荐文章于 2024-07-18 12:30:11 发布
阅读量511 收藏
点赞数
文章标签： pytorch 人工智能 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liremo/article/details/132639636
版权
本文介绍了Pytorch中的Softmax函数，它用于计算输入属于各类别的概率，使得某一类别的概率接近1，其他类别接近0。Softmax通过exp和归一化实现，常与交叉熵损失函数结合用于深度学习模型的训练。文中还提及了Softmax的接口及其实现代码。
摘要由CSDN通过智能技术生成
  1. 什么是softmax

如果判断输入属于某一个类的概率大于属于其他类的概率，那么这个类对应的值就逼近于1，其他类就逼近于0.

  Softmax=exp(logits)/reduce_sum(exp(logits),dim)

  1. Softmax原理

在网络模型中，我们把等式两点都进行Ln运算，这样，进行ln运算后属于y1类的概率就可以转化为：ln运算后的x1满足某个条件的概率加上ln运算后的x2满足某个条件的概率。这样y1=x1w11+x2w12等于ln运算后的y1的概率了。

  1. Softmax的接口

Softmax接口

描述

torch.nn.Softmax()

计算Softmax，参数dim表示计算的维度

torch.nn.Softmax2d()

对每个图片进行Softmax处理

torch.nn.LogSoftmax(logits,name=None)

对Softmax取对数，常与NLLLoss联合使用，实现交叉熵损失的计算
最低0.47元/天 解锁文章
lire?
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【PyTorch】第九节：Softmax 函数与交叉熵函数
荷叶田田的博客
04-17 3535
本实验主要讲解了分类问题中的二分类问题和多分类问题之间的区别，以及每种问题下的交叉熵损失的定义方法。由于多分类问题的输出为属于每个类别的概率，要求概率和为 1 。因此，我们还介绍了如何利用 Softmax 函数，处理神经网络的输出，使其满足损失函数的格式要求。
pytorch-softmax
yuegooxi的博客
04-07 1835
pytorch-softmax torch.nn.functional.softmax() 一句话描述 将Tensor数值转为概率分布（取值0-1，所有取值之和为1）[1,1]->[0.5,0.5] 官方文档 其中，重点介绍参数dim-沿着某一维度进行计算。比较抽象可以看下面小例程。 小例程 import torch import torch.nn.functional as F input=torch.rand(5,3,2) out0=F.softmax(input,0) out1=F.soft
PyTorch 深度学习实践-基于SoftMax的多分类
最新发布
m0_52695557的博客
07-18 1363
比如说0-9分类问题，如果y = torch.LongTensor([3])，对应的one-hot是[0,0,0,1,0,0,0,0,0,0].(这里要注意，如果使用了one-hot，标签y的类型是LongTensor，糖尿病数据集中的target的类型是FloatTensor)知识点：SoftMax激活函数，多分类交叉熵CrossEntropyLoss，图像transform预处理，训练测试单独封装，Y是经过独热编码后的值，只有一个概率最大的为1，计算损失只要计算Y为1的Y_hat的损失。
PyTorch学习笔记 —— Softmax函数
ProQianXiao的博客
11-04 5万+
一、Softmax函数作用 Softmax函数是一个非线性转换函数，通常用在网络输出的最后一层，输出的是概率分布（比如在多分类问题中，Softmax输出的是每个类别对应的概率），计算方式如下： 得到的是第i个位置对应的概率,每个位置的概率之和为1（可以看出Softmax仅进行计算，没有需要学习的参数）。 二、PyTorch计算方式 在PyTorch中，包 torch.nn.functi...
【pytorch】softmax函数
weixin_37804469的博客
06-13 4936
做过多分类任务的同学一定都知道softmax函数。softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法： 下面为大家解释一下为什么softmax是这种形式。首先，我们知道概率有两个性质：1）预测的概率为非负数；2）各种预测结果概率之和等于1。softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。1）将预测结果转化为非负数下图为y=exp(x）的图像，我们可以知道指数函数的值域取值范
PyTorch-----torch.nn.Softmax()函数
xinxin的博客
03-27 2221
是 PyTorch 中的一个类，用于计算 softmax 函数。softmax 函数常用于多分类问题中，将一个具有任意实数值的向量转换为一个概率分布，使得每个元素都在 (0, 1) 之间，并且所有元素的和为 1。其中，zi 是 logits 向量 z 的第 i 个元素，n 是 logits 向量 z 的长度（即类别的数量），e 是自然对数的底（约等于 2.71828）。Softmax 函数的一个关键特性是它的输出是一个概率分布，即所有输出值的和为 1，因此可以用于表示多个互斥的类别的概率。
torch.softmax()
qq_37803694的博客
10-18 1万+
是三维tensor的推广，其实三维tensor也可以是batchsize=1的四维tensor，只是dim的索引需要加1.：先随机生成一个(2,2,5,4)矩阵。其实随着dim增加（从0到3），相当于一层层剥开。：先随机生成一个（2,5,4）的矩阵，即两个维度的（5,4）矩阵。)对应位置(相同BHW)求softmax。)对应位置(相同BCW)求Softmax。)对应元素(相同BCH)求softmax。对应位置(相同CHW)求softmax。继续向里剥，也是最后一次。这时向里剥，每小块(继续向里剥，每小块(
《动手学深度学习》PyTorch版本
wzy628810的博客
01-20 7988
本项目对中文版《动手学深度学习》中的代码进行整理，并参考一些优秀的GitHub项目给出基于PyTorch的实现方法。为了方便阅读，本项目给出全书PyTorch版的PDF版本。欢迎大家Download，Star，Fork。除了原书内容外，我们还为每一章增加了本章附录，用于对该章节中用到的函数以及数学计算加以说明，除此之外还增加了语义分割网络（U-Net）的实现。
【Pytorch】No moudel named 'd2lzh_pytorch'
哩哩的点滴记
02-18 1391
添加一个d2lzh_pytorch.py文件 import collections import math import os import random import sys import tarfile import time import json import zipfile from tqdm import tqdm from PIL import Image from collecti...
大规模语言模型从理论到实践 由少至多提示
程序员光剑
05-30 925
在过去的几年里，自然语言处理 (NLP) 技术发展速度飞快，特别是自动生成文本的技术，å°¤其是基于Transformer架构的BERT, RoBERTa 和
深入浅出自然语义处理原理并构建自然语义处理(NLP)模型GPT2
weixin_48866452的博客
02-04 1544
NLP自然语言处理，GPT2模型 1、词向量 在图像的处理中，我们无需对图像进行特殊的处理，因为图像本身就是由矩阵来表示的。而处理自然语言的时候，语言是由每一个字、词组成的。而字、词是通过编码存储在计算机当中的。所以我们可以通过将字、词编码成为向量的形式，如此就可以输入进深度学习网络模型中。 但是我们应该如何去编码呢？ 像做图像分类那样，使用one—hot的形式编码？ 但是这样会存在一个问题，在自然语言中，存在着词和词之间的关系，字和字之间的关系。例如近义词，反义词，同属性的词语。 例如：‘beijing’
【pyTorch基础】softmax
m0_53603241的博客
12-02 2311
神经网络，逐句精讲
PyTorch Softmax
weixin_30653023的博客
04-02 327
PyTorch provides 2 kinds of Softmax class. The one is applying softmax along a certain dimension. The other is do softmax on a spatial matrix sized in B, C, H, W. But it seems like some problems exis...
深入浅出Pytorch函数——torch.nn.Softmax
冯·诺依曼
07-23 8866
将Softmax函数应用于n维输入张量，重新缩放它们，使得n维输出张量的元素位于01的范围内，且总和为1。当输入张量是稀疏张量时，未指定的值被视为-inf。
Pytorch Softmax用法
sinat_40258777的博客
09-13 3万+
Pytorch Softmax用法 pytorch中的softmax主要存在于两个包中分别是： torch.nn.Softmax(dim=None) torch.nn.functional.softmax(input, dim=None, _stacklevel=3, dtype=None) 下面分别介绍其用法： torch.nn.Softmax torch.nn.Softmax中只要一个参数：来制定归一化维度如果是dim=0指代的是行，dim=1指代的是列。 import torch import to
【Pytorch】Softmax激活函数
宫瑞阳的博客
03-03 2877
Softmax激活函数
PyTorch: Softmax多分类实战
热门推荐
AI小白入门的博客
02-11 6万+
多分类一种比较常用的做法是在最后一层加softmax归一化，值最大的维度所对应的位置则作为该样本对应的类。本文采用PyTorch框架，选用经典图像数据集mnist学习一波多分类。 MNIST数据集 MNIST 数据集(手写数字数据集)来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST). 训练集 (tra...
Pytorch softmax function / layer (函数 / 层)
weixin_45646640的博客
03-21 608
Pytorch softmax function / layer (函数 / 层)
pytorch softmax函数
03-28
在PyTorch中，softmax函数可以通过torch.nn.functional.softmax()函数实现。该函数的输入是一个张量，输出是一个与输入张量大小相同的张量，其中每个元素都是softmax函数的结果。具体用法如下： ```python import ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值