深入浅出PyTorch（算子篇）

最新推荐文章于 2024-01-04 20:59:42 发布
VIP文章 最新推荐文章于 2024-01-04 20:59:42 发布
阅读量6.7k 收藏 22
点赞数 2
分类专栏： deep learning 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cedi9117/article/details/106955001
版权

Tensor

自从张量（Tensor）计算这个概念出现后，神经网络的算法就可以看作是一系列的张量计算。所谓的张量，它原本是个数学概念，表示各种向量或者数值之间的关系。PyTorch的张量（torch.Tensor）表示的是N维矩阵与一维数组的关系。

http://web.mit.edu/~ezyang/Public/pytorch-internals.pdf

torch.Tensor的使用方法和numpy很相似（https://pytorch.org/…tensor-tutorial-py），两者唯一的区别在于torch.Tensor可以使用GPU来计算，这就比用CPU的numpy要快很多。

张量计算的种类有很多，比如加法、乘法、矩阵相乘、矩阵转置等，这些计算被称为算子（Operator），它们是PyTorch的核心组件。

算子的backend一般是C/C++的拓展程序，PyTorch的backend是称为"ATen"的C/C++库，ATen是"A Tensor"的缩写。

Operator

PyTorch所有的Operator都定义在Declarations.cwrap和native_functions.yaml这两个文件中，前者定义了从Torch那继承来的legacy operator（aten/src/TH），后者定义的是native operator，是PyTorch的operator。

相比于用C++开发的native code，legacy code是在PyTorch编译时

最低0.47元/天 解锁文章
A君来了
关注
  • 2
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
onnx支持的pytorch(aten)算子
juluwangriyue的博客
09-23 1014
【代码】onnx支持的pytorch(aten)算子。
pytorch-operator:PyTorch是Kubernetes
05-03
用于PyTorch作业的Kubernetes自定义资源和操作员 概述 该存储库包含PyTorchJob自定义资源定义的规范和实现。 使用此自定义资源，用户可以像Kubernetes中的其他内置资源一样创建和管理PyTorch作业。 参见 先决条件 Kubernetes> = 1.8 安装PyTorch操作员 请参考的安装说明。 这将安装pytorchjob CRD和pytorch-operator控制器来管理PyTorch作业的生命周期。 创建一个PyTorch作业 您可以通过定义PyTorchJob配置文件来创建PyTorch作业。 有关请参见清单。 您可以根据需要更改配置文件。 cat examples/mnist/v1/pytorch_job_mnist_gloo.yaml 部署PyTorchJob资源以开始培训： kubectl create -f examples/mnist
浅谈pytorch池化maxpool2D注意事项
12-20
注意： 在搭建网络的时候用carpool2D的时候，让高度和宽度方向不同池化时， 用如下： nn.MaxPool2d(kernel_size=2, stride=(2, 1), padding=(0, 1)) 千万不要用： nn.MaxPool2d(kernel_size=2, stride=(2, 1), padding=(0, 0))， 这样在用交叉熵做损失函数的时候，有时候会出现loss为nan的情况，检查的时候发现，某些样本的提取出来的feature全为nan。 以上这篇浅谈pytorch池化maxpool2D注意事项就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家
PyTorch官方教程中文版.pdf
02-14
PyTorch是一个基于Torch的Python开源机器学习库，用于自然语言处理等应用程序。它主要由Facebookd的人工智能小组开发，不仅能够 实现强大的GPU加速，同时还支持动态神经网络，这一点是现在很多主流框架如TensorFlow都不支持的。 PyTorch提供了两个高级功能： 1.具有强大的GPU加速的张量计算（如Numpy） 2.包含自动求导系统的深度神经网络 除了Facebook之外，Twitter、GMU和Salesforce等机构都采用了PyTorch。 官方教程包含了 PyTorch 介绍，安装教程；60分钟快速入门教程，可以迅速从小白阶段完成一个分类器模型；计算机视觉常用模型，方便基于自己的数据进行调整，不再需要从头开始写；自然语言处理模型，聊天机器人，文本生成等生动有趣的项目。 总而言之： 如果你想了解一下 PyTorch，可以看介绍部分。 如果你想快速入门 PyTorch，可以看60分钟快速入门。 如果你想解决计算机视觉问题，可以看计算机视觉部分。 如果你想解决自然语言处理问题，可以看NLP 部分。
三天循序渐进掌握PyTorch教程（附带完整源码及数据集）
06-09
《深度学习框架PyTorch：入门与实践》教程及全部源码及训练数据。 第二章介绍如何安装PyTorch和配置学习环境。 第三章介绍了PyTorch中多维数组Tensor和动态图autograd/Variable的使用，并配以例子。 第四章介绍了PyTorch中神经网络模块nn的基础用法，同时讲解了神经网络中“层”，“损失函数”，“优化器”等，最后带领读者用不到50行的代码搭建出曾夺得ImageNet冠军的ResNet。 第五章介绍了PyTorch中数据加载，GPU加速，持久化和可视化等相关工具。 第六章结合Kaggle中一个经典的比赛，实现一个深度学习中比较简单的图像二分类问题。 第七章为读者讲解了当前最火爆的生成对抗网络（GAN），带领读者从头实现一个动漫头像生成器，能够利用GAN生成风格多变的动漫头像。 第八章为读者讲解了风格迁移的相关知识，并带领读者实现风格迁移网络 第九章为读者讲解了一些自然语言处理的基础知识，并讲解了CharRNN的原理。而后利用收集了几万首唐诗，训练出了一个可以自动写诗歌的小程序。 第十章为读者介绍了图像描述任务，并以最新的AI Challenger比赛的。
Pytorch 实现sobel算子的卷积操作详解
09-18
今天小编就为大家分享一篇Pytorch 实现sobel算子的卷积操作详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch详细教程
IT菜鸟
02-13 6983
为了加速计算，一些框架会使用对神经网络“先编译，后执行”的静态图来描述网络。静态图的缺点是难以描述控制流（比如 if-else 分支语句和 for 循环语句），直接对其引入控制语句会导致产生不同的计算图。比如循环执行 n 次 a=a+b，对于不同的 n，会生成不同的计算图。
Pytorch : 模型部署
Shilong的博客
03-28 2596
将模型导出为torchscript或onnx，使用libtorch C++API部署或Onnx Runtime部署
libtorch组成讲解之ATen、c10、at、csrc
Major_S的博客
09-30 1659
libtorch组成
PyTorch源码浅析(3)：NN
Xixoqw的博客
01-15 761
THNN是一个用C语言实现的神经网络模块的库，提供的功能非常底层。它实现了许多基础的神经网络模块，包括线性层，卷积层，Sigmoid等各种激活层，一些基本的loss函数，这些API都声明在THNN/generic/THNN.h中。每个模块都实现了前向传导（forward）和后向传导（backward）的功能。THCUNN则是对应模块的CUDA实现。 THNN & THCUNN 我们通过几个例子具体看一下几种模块是怎么实现的。 Tanh 首先从最简单的激活层开始看，以 tanh​ 为代表，代码在THN
浅谈Pytorch中的自动求导函数backward()所需参数的含义
09-17
今天小编就为大家分享一篇浅谈Pytorch中的自动求导函数backward()所需参数的含义，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
干货 | Pytorch底层算子扩展最详细的总结
gzq0723的博客
04-02 2366
欢迎关注“计算机视觉研究院”计算机视觉研究院专栏作者：Edison_G一般情况下，pytorch推荐使用python层的前端语言来构建新的算子。因为pytorch在python层的api已...
TenserRT（四）在 PYTORCH 中支持更多 ONNX 算子
fanre的专栏
07-30 449
torch/_C/_VariableFunctions.pyi和两个文件可以获取函数的输入定义，这两个文件是编译pytorch时自动生成的，里面包含了ATen算子的pytorch调用接口，在torch/_C/_VariableFunctions.pyi中搜索asinh接口为缺失算子为asinh，在ATen中实现的算子，在_VariableFunctions.pyi找到对应接口，需要补充对应的符号函数，使其在转场ONNX时不在报错。#定义一个包含算子的模型。
使用mindconverter转换pytorch模型失败
weixin_45666880的博客
06-20 245
问题描述：【功能模块】使用mindconverter的API转换pytorch模型时转换失败，出现‘aten’这个不明意义【操作步骤&问题现象】1、使用API转化pytorch模型2、转化完毕，但是部分未转化【截图信息】 解答：aten::xxx 代表原始算子，didn't convert 表示转换失败。 该日志的含义是：扫描模型中哪些算子不支持转换。 遇到这种情况，用户需根据MindSpore相关文档自行补齐该算子。 后续我们也会逐步完善算子的支持度...
PyTorch 源码解读之 cpp_extension：讲解 C++/CUDA 算子实现和调用全流程
qq_39967751的博客
03-02 2276
“Python 用户友好却运行效率低”，“C++ 运行效率较高，但实现一个功能代码量会远大于 Python”。平常学习工作中你是否常听到类似的说法？在 Python 大行其道的今天，你是否经常也会面临代码的瓶颈，而为运行加速而烦恼呢？“我的代码刚跑 10 步，隔壁同学的已经跑完第一个 epoch 了。”--这究竟是人性的扭曲还是科学的沦丧？荀子有言“君子性非异也，善假于物也”。本期《源码解读》带你走进 “Pytorch 中 (神秘) 的 C++ / CUDA 扩展"。 本期主题：结合 Python 与..
pytorch基本算子
WX_Chen的博客
12-06 1949
permute 将tensor的维度换位。 nn.functional.unfold() unfold的作用就是手动实现(卷积中)的滑动窗口操作，也就是只有卷，没有积 行数为4，即对应着2×2的滑动窗口大小；而每一列的元素为滑动窗口依次所覆盖的内容，一共滑动了16次，因此有16列。 https://blog.csdn.net/qq_40714949/article/details/112836897 torch.cat和torch.stack torch.cat不增加维度 torch.s.
在 pytorch 中支持更多的 onnx 算子
最新发布
哦豁灬
01-04 1350
首先，需要获得asinh推理接口的输入参数定义。在和这两个文件中搜索相应的算子名称（一般来说 ATen 中的函数名称都是全小写，因此在搜索算子名的时候尽量忽略大小写这两个文件是编译 PyTorch 时本地自动生成的文件，里面包含了 ATen 算子的 PyTorch 调用接口。搜索结果，def asinh定义在文件中。onnx 没有支持的 onnx 算子，需要自定义该 onnx 算子。g.op()函数可以用来自定义 onnx 算子的函数。对于 onnx 官方支持的算子，使用g.op()
深度学习模型部署学习四
weixin_51179742的博客
07-19 2156
在 PyTorch 中支持更多 ONNX 算子
使用过的pytorch算子总结
juluwangriyue的博客
07-02 1318
总结一些pytorch常用算子 1. torch.reciprocal(input, out=None) 说明：返回一个新张量，包含输入input张量每个元素的倒数。（单词reciprocal的意思是倒数） 参数： input(Tensor) – 输入张量 out(Tensor, 可选) – 输出张量 import torch if __name__ == '__main__': a = torch.randn(5) print(a) b = torch.reciprocal(
pytorch 算子
09-03
PyTorch算子是指在PyTorch中用于进行张量计算的操作符，比如加法、乘法、矩阵相乘、矩阵转置等。这些算子是PyTorch的核心组件，可以用来对张量进行各种数学运算和变换。与NumPy相比，PyTorch算子的一个显著优势是可以利用GPU来进行计算，从而提高计算速度。PyTorch的算子的底层实现一般是使用C/C++编写的拓展程序，其中PyTorch的底层库称为"ATen"，它是"A Tensor"的缩写。通过使用PyTorch算子，我们可以更方便地进行张量计算和深度学习模型的构建。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [深入浅出PyTorch（算子篇）](https://blog.csdn.net/cedi9117/article/details/106955001)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值