torch的一些函数

已于 2022-10-06 16:11:09 修改
阅读量789 收藏 2
点赞数
分类专栏： pytorch 文章标签： pytorch
于 2022-04-21 17:26:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46861439/article/details/124326107
版权

0. 长期更新，看到奇怪的弄懂了就写

ref:
https://www.bilibili.com/video/BV1wQ4y1q7Bm/?spm_id_from=333.788
https://blog.csdn.net/m0_46384757/article/details/120509481

1.torch.gather

这个的效果是切片

https://www.jianshu.com/p/b7d8d3c26f2d
上面的文章告诉我举例子的时候不要用1m或m1
也不要用n*n这种，不然歧义很多

这里是按我的理解写一遍，为了我能看懂

在这里插入图片描述
在这里插入图片描述
补充，如果你出现了**Dimension out of range (expected to be in range of [-2, 1], but got 2)**之类的报错，这是你的index的维度和gather源的维度不同，下面是正确的index，注意index的括号数

在这里插入图片描述

1.1 模糊的官方文档的解释

https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch/#math-operations
在这里插入图片描述
敲过之后感觉还是能看的就是对初学者不太友好

#假设输入的是一个三维的张量
#比如 对 
# index=[
#   [[0,1],[2,3]],
#   [[4,5],[6,7]]
# ]
#其中5对应的坐标就是（1，0，1）--(i.j.k)
#下面说的i,j,k都指的是index中某一数字在index中的坐标
#记 z=index(i,j,k)
# output   <-- 源(z, j,k) if dim=0
# output   <-- 源(i, z, k) if dim=1
# output   <-- 源(i, j, z) if dim=2

2.torch.transpose

这个的效果真的是坐标对换
比如说， 敲了个 torch.transpose(x,0,1)， 第一维与第三维调换，原本（2，3，4）的数值出现在了（4，3，2）的位置上
在这里插入图片描述

3. torch.unbind(x,dim=0)

这个的效果是沿着某一维度得到原张量x的切片

在这里插入图片描述

4.torch.autograd.Function

推荐直接看这个
https://zhuanlan.zhihu.com/p/344802526

4.1 实战例子

首先记录一下这里想说的是apply（）里面不是传入function的情况，function的话可以看下这个https://blog.csdn.net/qq_37025073/article/details/106739513

class Exp(Function):

    @staticmethod
    def forward(ctx, i):
        result = i.exp()
        ctx.save_for_backward(result)
        return result

    @staticmethod
    def backward(ctx, grad_output):
        result, = ctx.saved_tensors
        return grad_output * result

#Use it by calling the apply method:
output = Exp.apply(input)

# forward()和backward()都应该是staticmethod。
# forward()的输入只有2个(ctx, i)，ctx必须有，i是input。
# ctx.save_for_backward(result)表示forward()的结果要存起来，以后给backward()。
# backward()的输入只有2个(ctx, grad_output)，ctx必须有，grad_output是最终object对的forward()输出的导数。
# result, = ctx.saved_tensors得到之前forward()存的结果。
# 因为 exp(x) 的导数还是 exp(x) ，所以return grad_output (上一层求导结果)* result(exp(x))。
# 调用时，直接 Exp.apply(input)即可。

在这里插入图片描述
实验结果如上，functiion.apply(input)会自动调用forward，但不会子弟哦那个调用backward

上面这部分代码来自于【2】，你可以去【1】看BNN的实战例子

4.2 ref

[1]http://giantpandacv.com/project/%E9%83%A8%E7%BD%B2%E4%BC%98%E5%8C%96/AI%20%E9%83%A8%E7%BD%B2%E5%8F%8A%E5%85%B6%E5%AE%83%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95/%E5%9F%BA%E4%BA%8EPytorch%E6%9E%84%E5%BB%BA%E4%B8%80%E4%B8%AA%E5%8F%AF%E8%AE%AD%E7%BB%83%E7%9A%84BNN/#23
[2]https://zhuanlan.zhihu.com/p/344802526

5. le 与 ge

暂时认为是比大小

input=torch.arange(15)*0.2
print(input)
>>tensor([0.0000, 0.2000, 0.4000, 0.6000, 0.8000, 1.0000, 1.2000, 1.4000, 1.6000,
        1.8000, 2.0000, 2.2000, 2.4000, 2.6000, 2.8000])
print(input.ge(1))
>>tensor([False, False, False, False, False,  True,  True,  True,  True,  True,
         True,  True,  True,  True,  True])
print(input.le(1))
>>tensor([ True,  True,  True,  True,  True,  True, False, False, False, False,
        False, False, False, False, False])

6.torch.min

这里主要讲的是它的维度问题

# 一般是输入像这种torch.min(input, dim=3, keepdim=True)
# 这里想说的是第二个位置的数字
# 比如你输入的是一个size为[2,3,4,4] 
#  dim=0--2,dim=1--3

# 但是其实我想讲的重点是channel-wise，layer-wise那些该怎么处理
# layer-wise--->
# torch.min(input)

# channel-wise-->
# size(input)=[2,3,4,4]
# torch.min(torch.min(torch.min(input, 3, keepdim=True)[0], 2, keepdim=True)[0], 1, keepdim=True)[0]
# [0]是结果,[1]是对应的位置
# 此处dim=从内到外为3，2，1 表示层层选择，从size(input)=[2,3,4,4]最右的4到3
# 最里面的dim=3表示对每行
# dim=2表示对每一个4*4的平面
# dim=1 表示对于每一个由三个平面搭成的filter

在这里插入图片描述

7.register_buffer

这个是用来生成一个缓存器的，我在定义一个model类的时候看到这个，
在model中，我们需要更新其中的参数，训练结束将参数保存下来。但在某些时候，我们可能希望模型中的某些参数参数不更新（从开始到结束均保持不变），但又希望参数保存下来，就用这个

# 用法
class ...
	def....
		self.register_buffer('my_buffer', self.tensor)
# 表明将 创建一个叫my_buffer的缓存器（通过self.mybuffer调用),里面复制粘贴了#self.tensor

7.1 register_buffer.add_()

对这个buffer中的每一个元素都进行＋1的操作

import torch
import torch.nn as nn
class my_model(nn.Module):
    def __init__(self,out_channels):
        super(my_model, self).__init__()
        self.register_buffer('mybuff', torch.zeros(out_channels, 1, 1, 1))

    def a(self):
        self.mybuff.add_(1)


A=my_model(5)
A.a()
print((A.mybuff))

效果：
在这里插入图片描述

8.torch.nn.embedding

作用：构建一个词向量库，认为每一行为对应编号的单词

#测试代码
mport torch
import torch.nn as nn
from torch.autograd import Variable

# 10个size为3的tensor
# 嵌入字典的大小为10(即有10个词)，每个词向量的维度为3
embedding = nn.Embedding(10, 3)
# a batch of 2 samples of 4 indices each
# 该LongTensor的数字范围只能在0~9(因为设置了10)
print(embedding.weight)
print('-' * 60)
input1 = torch.LongTensor([[1, 2, 4, 5], 
                           [4, 3, 2, 9]])
emb1 = embedding(input1) # tensor([[1, 0, 2, 2, 3]])
print(emb1)
print(emb1.shape)
# torch.Size([2, 4, 3]) # 即每个词都被映射为一个3维向量
print('-' * 60)

在这里插入图片描述

SCUT-Chung
关注
专栏目录
torch常用函数
m0_37737957的博客
07-05 617
一、 torch.bmm 二、 torch.einsum 三、torch.chunk 四、torch.contiguous 五、torch.clamp 六、torchvision.utils.make_grid
torch 常用函数讲解【Ⅰ】
LJR的博客
03-13 928
如果没有显式指明，则认为稀疏张量对应的完整张量应该在包含全部指定的非零元素的前提下，包含尽可能少的零元素。，因此可以判断出视图第一行的第二个元素为与第一行的第一个元素距离为 0，即视图第一行的第二个元素为存储序列的第一个元素。要求存在两个维度，第一维的数量表示稀疏张量对应的完整张量的维度个数，第二维的数量表示非零元素数量。，即视图第二行的第一个元素与视图第一行的第一个元素的距离为 0，即视图第二行的第一个元素也是存储序列的第一个元素。作用：返回对角线上的元素为 1，其他位置的元素为 0 的二维张量。
torch常用的函数和知识点
qq_72985002的博客
10-20 670
transform函数中的RandomCrop操作来随机裁剪图像，以增加数据集的多样性。Compose对象是PyTorch中的一个类，用于定义一系列的预处理操作。模块提供了许多实用工具和类，用于加载、处理和组织数据。requires_grad=True：启用自动求导。轻松地加载数据集，并遍历每一批次。目前：创建生成数据集。
torch库介绍
最新发布
浪漫韫秋
09-06 1390
torch提供了一个强大且灵活的平台，使得开发者和研究人员能够在 Python 环境中快速构建和训练复杂的深度学习模型。无论你是初学者还是经验丰富的开发者，torch都是一个值得学习和使用的深度学习框架。
Torch函数汇总
A2321161581的博客
10-26 949
Pytorch中函数汇总
Torch常用函数详解
Dashi_Lu的博客
03-25 8382
torch 本笔记引用自PyTorch中文文档 包torch包含了多维疑是的数据结构及基于其上的多种数学操作。 1. 张量Tensors torch.is_tensor(obj): 如果obj是一个pytorch张量，则返回True torch.is_storage(obj): 如果obj是一个pytorch storage对象，则返回True torch.numel(input): 返...
torch函数
qq_42454156的博客
05-28 498
111
torch.cat()函数的官方解释，详解以及例子
01-20
一般torch.cat()是为了把函数torch.stack()得到tensor进行拼接而存在的。 区别参考链接torch.stack()，但是本文主要说cat()。 前言 和python中的内置函数cat()， 在使用和目的上，是没有区别的。 1. cat()官方解释 ...
Pytorch中torch.gather函数
12-21
在PyTorch中，`torch.gather`是一个非常实用的函数，它允许用户根据指定的索引值从张量中提取特定位置的数据，并将这些数据组合成一个新的张量。这个功能在处理序列数据、实现神经网络中的注意力机制或在可视化网络...
深度学习框架_PyTorch_torch.stack()函数和torch.cat()函数
01-06
torch.stcak()函数对多个张量在维度上进行叠加。 其中参数dim代表不同的维度。 具体如下代码所示： >>> a = torch.ones(3,3) >>> a tensor([[1., 1., 1.], [1., 1., 1.], [1., 1., 1.]]) >>> b = torch.ones(3,3) ...
torch常用基础函数
耶律大石的博客
08-23 1279
1、torch.meshgrid() torch.meshgrid（）的功能是生成网格，可以用于生成坐标。函数输入两个数据类型相同的一维张量，两个输出张量的行数为第一个输入张量的元素个数，列数为第二个输入张量的元素个数，当两个输入张量数据类型不同或维度不是一维时会报错。 其中第一个输出张量填充第一个输入张量中的元素，各行元素相同；第二个输出张量填充第二个输入张量中的元素各列元素相同。 示例代码： import torch a = torch.tensor([1, 2, 3, 4]) print("a=",
torch常用函数（持续更新）
qq_44721124的博客
12-25 222
1. torch.cat() a = torch.ones([1, 2]) b = torch.ones([1, 2]) c = torch.cat([a, b], 1) cat的第二个参数为1时，就是将a,b按列“拼在一起”，同于增广矩阵。 当参数为0时，将a,b按行“拼在一起”。 ...
torch 函数整理
ningchewinbell的博客
06-03 7392
torch.nn.Conv2d torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True) 卷积操作，输入矩阵大小 (N, Cin, H, W)，输入矩阵大小N, Cout, Hout, Wout) 参数说明 in_channels ...
《torch 常用函数》
LaineGates的专栏
06-29 435
张量生成 torch.ones torch.zeros torch.tensor() 张量操作 torch.tensor.eq(x)，生成一个与当前tensor等大小的张量，如果对应位置值等于参数x，那么对应位置值为True否则False。 torch.gt(a, value) torch.tensor.squeeze(dim) torch.tensor.unsqueeze(dim) torch.tensor.view(size)根据传入的size，调整当前tensor的shape torch.nn.Mod
torch的常用函数
weixin_38698410的博客
03-13 439
https://www.jianshu.com/p/d678c5e44a6b
torch 函数
weixin_37260876的博客
11-29 519
1. torch.numel() 返回一个tensor变量内所有元素个数，可以理解为矩阵内元素的个数 2. torch.squeeze() 对于tensor变量进行维度压缩，去除维数为1的的维度。例如一矩阵维度为A*1*B*C*1*D，通过squeeze()返回向量的维度为A*B*C*D。squeeze(a)，表示将a的维数位1的维度删掉，squeeze(a,N)表示，如果第N维维数为1，则压缩...
torch.相关函数
cowardintheworld的博客
10-19 392
torch.nonzero() Docstring:nonzero(input, *, out=None, as_tuple=False) -> LongTensor or tuple of LongTensors 涉及的参数主要是输入和 as_tuple，其实就是是否返回到一个元组，默认不是元组。 看下面的例子就懂了。 """as_tuple=False的默认情况""" >>> torch.nonzero(torch.tensor([1, 1, 1, 0, 1])) ten
torch常用函数手册（10-20）
kuxingseng123的博客
07-11 1186
在给定维度上对输入张量序列seq进行连接操作. torch.cat()可以看做 torch.split() 和 torch.chunk()的反操作。 cat() 函数 可以通过下面例子更好的理解 参数：在给定维度上将输入张量进行分块儿。 参数：沿给定轴dim,将输入的索引张量index,指定位置的值进行聚合。 参数沿着指定维度对输入进行切片，取index中指定的相应项数。（(index 为一个 LongTensor）然后返回到一个新的张量，返回的张量与原始张量_Tensor**_有相同的维度(在指定轴上)*
torch reshape函数
08-16
torch.reshape函数用于改变张量的形状。它接受一个张量作为输入，并返回具有指定形状的新张量，而不改变原始张量的数据。reshape函数的语法如下： ```python torch.reshape(input, shape) ``` 其中，`input`是输入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值