【PyTorch】PyTorch之Reduction Ops

已于 2024-01-19 15:58:07 修改
阅读量1.1k 收藏 17
点赞数 24
文章标签： pytorch 人工智能 python
于 2024-01-19 13:30:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44984705/article/details/135690300
版权

文章目录

前言

介绍pytorch的Reduction Ops。

一、ARGMAX

torch.argmax(input, dim, keepdim=False) → LongTensor
Parameters：
input (Tensor) – the input tensor.
dim (int) – the dimension to reduce. If None, the argmax of the flattened input is returned.
keepdim (bool) – whether the output tensor has dim retained or not. Ignored if dim=None.

返回输入张量中所有元素的最大值的索引。
这是 torch.max() 返回的第二个值。
注意：
如果存在多个最大值，则返回第一个最大值的索引。

在这里插入图片描述
在这里插入图片描述

二、ARGMIN

torch.argmin(input, dim=None, keepdim=False) → LongTensor
Parameters：
input (Tensor) – the input tensor.
dim (int) – the dimension to reduce. If None, the argmin of the flattened input is returned.
keepdim (bool) – whether the output tensor has dim retained or not…

返回输入张量中所有元素的最小值的索引。
这是 torch.min() 返回的第二个值。
注意：
如果存在多个最小值，则返回第一个最小值的索引。
在这里插入图片描述

三、AMAX和AMIN

torch.amax(input, dim, keepdim=False, , out=None) → Tensor
torch.amin(input, dim, keepdim=False, , out=None) → Tensor
Parameters：
input (Tensor) – the input tensor.
dim (int or tuple of ints) – the dimension or dimensions to reduce.
keepdim (bool) – whether the output tensor has dim retained or not.
Keyword Arguments：
out (Tensor, optional) – the output tensor.

返回输入张量在给定维度（维度）dim中的每个切片的最大值/最小值。
注意：
max/min 与 amax/amin 之间的区别为：

  • amax/amin 支持在多个维度上进行减少，
  • amax/amin 不返回索引，
  • amax/amin 在相等的值之间均匀分配梯度，而 max(dim)/min(dim) 仅将梯度传播到源张量中的单个索引。

如果 keepdim 为 True，则输出张量在除了维度（维度）dim的位置大小与输入相同。否则，dim 被挤压（参见 torch.squeeze()），导致输出张量的维度减少1（或 len(dim)）。

在这里插入图片描述
在这里插入图片描述

四、ALL和ANY

torch.all(input) → Tensor
torch.any(input) → Tensor

all：输入中是否所有的任何元素评估为 True。
any：测试输入中是否有任何元素评估为 True。
此函数匹配 NumPy 的行为，在除 uint8 外的所有支持的 dtype 上返回 bool 类型的输出。对于 uint8，输出的 dtype 本身是 uint8。
在这里插入图片描述
在这里插入图片描述

五、MAX和MIN

**torch.max(input, dim, keepdim=False, , out=None)
torch.min(input, dim, keepdim=False, , out=None)
Parameters：
input (Tensor) – the input tensor.
dim (int) – the dimension to reduce.
keepdim (bool) – whether the output tensor has dim retained or not. Default: False.
Keyword Arguments：
out (tuple, optional) – the result tuple of two output tensors (max, max_indices)

返回一个命名元组 (values, indices)，其中 values 是输入张量在给定维度 dim 中每行的最大值。而 indices 是找到的每个最大值的索引位置（argmax）。
如果 keepdim 为 True，则输出张量在除了维度 dim 的位置大小与输入相同。否则，dim 被挤压（参见 torch.squeeze()），导致输出张量的维度比输入少 1。
注意：
如果在缩减的行中存在多个最大值，则返回第一个最大值的索引。
在这里插入图片描述
在这里插入图片描述
torch.min()用法同torch.max()。

六、MEAN

*torch.mean(input, dim, keepdim=False, , dtype=None, out=None) → Tensor
Parameters：
input (Tensor) – the input tensor.
dim (int or tuple of ints) – the dimension or dimensions to reduce.
keepdim (bool) – whether the output tensor has dim retained or not.
Keyword Arguments：
dtype (torch.dtype, optional) – the desired data type of returned tensor. If specified, the input tensor is casted to dtype before the operation is performed. This is useful for preventing data type overflows. Default: None.
out (Tensor, optional) – the output tensor.

返回输入张量在给定维度 dim 中每行的均值。如果 dim 是维度的列表，则对所有维度进行缩减。
如果 keepdim 为 True，则输出张量在除了维度（维度）dim的位置大小与输入相同。否则，dim 被挤压（参见 torch.squeeze()），导致输出张量的维度减少1（或 len(dim)）。

torch.nanmean() 计算非nan元素的平均值。

在这里插入图片描述

七、MEDIAN

*torch.median(input, dim=-1, keepdim=False, , out=None)
Parameters：
input (Tensor) – the input tensor.
dim (int) – the dimension to reduce.
keepdim (bool) – whether the output tensor has dim retained or not.
Keyword Arguments：
out ((Tensor, Tensor), optional) – The first tensor will be populated with the median values and the second tensor, which must have dtype long, with their indices in the dimension dim of input.

返回一个命名元组 (values, indices)，其中 values 包含输入在维度 dim 中每行的中位数，而 indices 包含在维度 dim 中找到的中位数的索引。
默认情况下，dim 是输入张量的最后一个维度。
如果 keepdim 为 True，则输出张量在除了维度 dim 的位置大小与输入相同。否则，dim 被挤压（参见 torch.squeeze()），导致输出张量的维度比输入少 1。
注意：
对于在维度 dim 中元素数为偶数的输入张量，中位数不是唯一的。在这种情况下，返回两个中位数中较小的一个。要计算输入中两个中位数的平均值，请使用 torch.quantile() 并将 q 设为 0.5。
警告：
indices 不一定包含找到的每个中位数值的第一个出现，除非它是唯一的。确切的实现细节是特定于设备的。一般而言，不要期望在 CPU 和 GPU 上运行时获得相同的结果。出于同样的原因，不要期望梯度是确定性的。
在这里插入图片描述
torch.nanmedian() 返回输入数据的中值，忽略NAN值

八、NORM

九、PROD

*torch.prod(input, dim, keepdim=False, , dtype=None) → Tensor
Parameters：
input (Tensor) – the input tensor.
dim (int) – the dimension to reduce.
keepdim (bool) – whether the output tensor has dim retained or not.
Keyword Arguments：
dtype (torch.dtype, optional) – the desired data type of returned tensor. If specified, the input tensor is casted to dtype before the operation is performed. This is useful for preventing data type overflows. Default: None.

返回给定维度dim中输入张量的每一行的乘积。

在这里插入图片描述

十、STD

*torch.std(input, dim=None, , correction=1, keepdim=False, out=None) → Tensor
Parameters：
input (Tensor) – the input tensor.
dim (int or tuple of ints) – the dimension or dimensions to reduce.
Keyword Arguments：
correction (int) –
difference between the sample size and sample degrees of freedom. Defaults to Bessel’s correction, correction=1.
keepdim (bool) – whether the output tensor has dim retained or not.
out (Tensor, optional) – the output tensor.

计算沿指定维度 dim 的标准差。dim 可以是单个维度、维度列表或 None（在所有维度上进行缩减）。
标准差（σ）的计算方式是对每个维度的元素进行以下步骤：

  • 计算该维度上的平均值（μ）。
  • 对每个元素，计算其与平均值的差值，然后取平方。
  • 对所有差值的平方求和。
  • 将总和除以元素的数量。
  • 取结果的平方根，得到标准差。

在这里插入图片描述

如果 keepdim 为 True，则输出张量在除了维度 dim 的位置大小与输入相同。否则，dim 被挤压（参见 torch.squeeze()），导致输出张量的维度比输入少 1（或 len(dim)）。

在这里插入图片描述

十一、SUM

**torch.sum(input, dim, keepdim=False, , dtype=None) → Tensor
Parameters:
input (Tensor) – the input tensor.
dim (int or tuple of ints, optional) – the dimension or dimensions to reduce. If None, all dimensions are reduced.
keepdim (bool) – whether the output tensor has dim retained or not.
Keyword Arguments:
dtype (torch.dtype, optional) – the desired data type of returned tensor. If specified, the input tensor is casted to dtype before the operation is performed. This is useful for preventing data type overflows. Default: None.

返回给定维度dim中输入张量的每行之和。如果dim是一个维度列表，则对所有维度进行约简。

在这里插入图片描述
torch.nansum() 返回所有元素的和，将非数字(nan)视为零。

十二、UNIQUE

torch.unique(input, sorted=True, return_inverse=False, return_counts=False, dim=None) → Tuple[Tensor, Tensor, Tensor]
Parameters：
input (Tensor) – the input tensor
sorted (bool) – Whether to sort the unique elements in ascending order before returning as output.
return_inverse (bool) – Whether to also return the indices for where elements in the original input ended up in the returned unique list.
return_counts (bool) – Whether to also return the counts for each unique element.
dim (int, optional) – the dimension to operate upon. If None, the unique of the flattened input is returned. Otherwise, each of the tensors indexed by the given dimension is treated as one of the elements to apply the unique operation upon. See examples for more details. Default: None
Returns：
A tensor or a tuple of tensors containing
output (Tensor): the output list of unique scalar elements.
inverse_indices (Tensor): (optional) if return_inverse is True, there will be an additional returned tensor (same shape as input) representing the indices for where elements in the original input map to in the output; otherwise, this function will only return a single tensor.
counts (Tensor): (optional) if return_counts is True, there will be an additional returned tensor (same shape as output or output.size(dim), if dim was specified) representing the number of occurrences for each unique value or tensor.
Return type：
(Tensor, Tensor (optional), Tensor (optional))

返回输入张量的唯一元素。
注意：
此函数与 torch.unique_consecutive() 不同，因为此函数还会消除非连续的重复值。
当前在 CUDA 实现和 CPU 实现中，当指定 dim 时，torch.unique 无论 sort 参数如何，都会在开始时对张量进行排序。排序可能会很慢，因此如果您的输入张量已经排序，建议使用 torch.unique_consecutive()，它避免了排序操作。

在这里插入图片描述
在这里插入图片描述

十三、VAR

*torch.var(input, dim=None, , correction=1, keepdim=False, out=None) → Tensor
Parameters：
input (Tensor) – the input tensor.
dim (int or tuple of ints, optional) – the dimension or dimensions to reduce. If None, all dimensions are reduced.
Keyword Arguments：
correction (int) –
difference between the sample size and sample degrees of freedom. Defaults to Bessel’s correction, correction=1.
keepdim (bool) – whether the output tensor has dim retained or not.
out (Tensor, optional) – the output tensor.

计算沿指定维度 dim 的方差。dim 可以是单个维度、维度列表或 None（在所有维度上进行缩减）。计算公式如下：
在这里插入图片描述
在这里插入图片描述

行走的学习机器
关注
  • 24
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pytorch个人学习之张量篇
05-12
pytorch个人学习之张量篇
PyTorch深度学习基础---PyTorch的Reduction操作
最新发布
Ting_28的博客
03-12 168
Reduction操作的特点是它往往对一个Tensor内的元素执行规约的操作。
PyTorch深度学习基础之Reduction归约和自动微分操作讲解及实战（附源码 超详细必看）
showswoller的博客
11-23 786
PyTorch深度学习基础之Reduction归约和自动微分操作讲解及实战（附源码 超详细必看）
loss函数中，reduction参数的作用
加油加油加油加油
11-14 433
当输入样本是一个批次（batch）的数据时，通常希望对整个批次的样本计算一个单一的损失值，以便进行梯度计算和参数更新。其中，reduction=‘none’ 表示不进行降维，即返回每个样本的损失值，而不对它们进行求和或平均。可以得到整个批次样本的平均损失，适用于对损失进行汇总，并用于指导整体模型的训练和优化。在 PyTorch 的损失函数中，reduction 参数用于指定损失的降维方式。可以得到整个批次样本的总和损失，适用于需要获得整个批次的总体损失值的情况。是常用的降维方式，在计算损失函数时使用。
小白学Pytorch系列--Torch API (6)
发呆的比目鱼的博客
03-18 686
小白学Pytorch系列--Torch API (6)
pytorch使用总结
weixin_37490132的博客
06-05 506
在对模型进行评估时，应该配合使用与。
pytorch之添加BN的实现
09-18
今天小编就为大家分享一篇pytorch之添加BN的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch入门之mnist分类实例
09-20
主要为大家详细介绍了Pytorch入门之mnist分类实例，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
PyTorch学习笔记之回归实战
09-20
主要介绍了PyTorch学习笔记之回归实战，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Pytorch之finetune使用详解
09-18
今天小编就为大家分享一篇Pytorch之finetune使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Torch 和 Numpy 出现NAN解决方法
Forrest97的博客
01-24 6327
在训练过程中，在确保数据没有异常的情况。由于自定义loss中出现了除数为0或对数为0的情况，导致无法计算得到数字就会得到NAN，然后loss.backward()就会导致整个网络的权重数值都变成NAN。直接导致网络无法计算。 所以在网络训练过程中需要对NAN进行检测和处理。 NAN检测 如果只是一个简单的标量，直接使用isnan进行判据 torch.isnan(loss) 如果只是一个相对复杂的矢量，则需要使用结合.int().sum()对nan进行计数，判据大于0 torch.isnan(loss).i
Pytorch学习-torch.max()和min()深度解析
努力学习的！
12-02 1457
Pytorch学习-torch.max和min深度解析max的使用dim参数理解二维张量使用max()三维张量使用max()小例子 max的使用 参考链接： 参考链接： 对于tensorA和tensorB： 1）torch.max(tensorA) 返回tensor中的最大值 2）torch.max(tensorA,dim) 返回指定维度的最大数和对应下标 3）torch.max(tensorA,tensorB) 比较tensorA和tensorB相对较大的元素 dim参数理解 搞清楚dim参数 第0维
torch.min、torch.max、torch.argmax
Major_S的博客
03-10 904
torch.min、torch.max、torch.argmaxtorch.min、torch.max、torch.argmaxtorch.min、torch.max、torch.argmax
pytorch基础操作
traveler-leon的博客
07-01 2146
pytorch的tensor基础知识
在张量运算中使用“Torch”
深度学习与计算机视觉
02-15 1217
讨论5种基本和最常用的张量运算深度学习使我们能够执行非常复杂的任务。为了有效地执行任务，我们需要一个灵活的工具。由于其简单性，Pytorch为我们提供了此选项。它使用GPU（图形处理单元）...
【torch.argmax与torch.max详解】
NorthSmile的博客
10-03 3285
方式一，即不指定dim时，默认将张量展开成一维张量，然后返回对应的下标；方式二，即指定dim时，沿着指定的dim维进行选择，输出结果由剩下的维度组成，比如原始维度为H,W，若指定dim=0（即H维),则输出结果由W个元素构成；2）如果有多个最大值则返回第一个最大值的下标；3）返回torch.max函数指定dim时返回的第二个值；
详解 torch.max 函数
热门推荐
绿色羽毛
10-03 3万+
torch.max() 返回输入张量所有元素的最大值。 参数: input (Tensor) – 输入张量 例子： >>> a = torch.randn(1, 3) >>> a 0.4729 -0.2266 -0.2085 [torch.FloatTensor of size 1x3] >>> torch.max(a) 0.4729 torch.max(input, dim, max=None, max_indices=None) -&
Pytorch学习之torch----Reduction Ops
励志的小胡子
07-14 2556
1. torch.cumprod(input, dim, out=None) 说明： 返回输入沿指定维度的累积积。如果输入是一个N元向量，则结果也是一个N元向量，第i个输出元素值为 yi=x1∗x2∗...∗xiy_{i} = x_{1} * x_{2} * ... * x_{i}yi​=x1​∗x2​∗...∗xi​ 参数： input(Tensor) ---- 输入张量 dim(int) -...
PyTorch的Reduction操作、自动微分Autograd
03-27
PyTorch中的Reduction操作是指将一个张量沿着某个或某些维度进行缩减操作，得到一个新的张量。常见的Reduction操作有sum、mean、max、min等，可以使用PyTorch中的函数进行实现。 例如，下面的代码将一个二维张量...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值