TensorRT笔记(9)使用空张量

最新推荐文章于 2024-08-14 09:59:53 发布
最新推荐文章于 2024-08-14 09:59:53 发布
阅读量882 收藏 1
点赞数
分类专栏： TensorRT-部署-加速
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33287871/article/details/113780118
版权
本文详细介绍了TensorRT中如何处理空张量，包括IReduceLayer、IMatrixMultiplyLayer、IFullyConnectedLayer、插件、IRNN层、IShuffleLayer、ISliceLayer和IConvolutionLayer等与空张量的交互。例如，空张量在平均运算中产生NaN，矩阵乘法会产生零矩阵，IShuffleLayer需要禁用占位符零来正确处理空尺寸。
摘要由CSDN通过智能技术生成

使用空张量

8.使用空张量

NVIDIA®TensorRT™支持空张量。 如果张量具有一个或多个长度为零的尺寸，则它是一个空张量。 零长度尺寸通常没有特殊处理。 如果规则适用于长度为L的维度，且长度为L的任意正值，则通常也适用于L = 0。
例如，当沿最后一个轴将两个张量分别为[x，y，z]和[x，y，w]的张量级联时，无论x，y， z或w为零。

隐式广播规则保持不变，因为只有单位长度尺寸才是特殊广播。 例如，给定两个张量分别为[1，y，z]和[x，1，z]的张量，无论x，y或z为零，由IElementWiseLayer计算得出的它们的总和的尺寸为[x，y，z]。 。

请注意，如果引擎绑定为空张量，则仍至少需要为其分配一个字节的内存。

8.1 IReduce层和空张量

如果图层的所有输入均为空，则输出通常为空，但也有例外。 例外情况是数学中如何定义空集的减少：空集的减少产生操作的标识元素。
下表显示与TensorRT相关的案例：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
yhwang-hub
关注
专栏目录
订阅专栏
TensorRT笔记(12)使用DLA
qq_33287871的博客
02-11 2222
使用DLA11.使用DLA11.1 在TensorRT推理期间在DLA上运行11.1.1 示例：带有DLA的sampleMNIST11.1.2 示例：在网络创建期间为层启用DLA模式11.2 DLA支持的层11.3 GPU后备模式 11.使用DLA NVIDIA®DLA™（深度学习加速器）是用于深度学习操作的固定功能加速器引擎。 DLA旨在进行卷积神经网络的完整硬件加速。 DLA支持各种层，例如卷积，解卷积，完全连接，激活，合并，批处理规范化等。 有关NVIDIA®TensorRT™层中DLA支持的更多信息
TensorRT笔记(7)使用无需重新格式化的网络I / O张量
qq_33287871的博客
02-09 325
使用无需重新格式化的网络I / O张量6.使用无需重新格式化的网络I / O张量6.1 使用无需重新格式化的网络I / O张量构建引擎6.2 支持的数据类型和I / O张量的内存布局组合6.3 使用INT8 I / O张量的网络进行校准6.4 DLA限制6.5 常见问题 6.使用无需重新格式化的网络I / O张量 汽车安全完整性等级（ASIL）对安全流程的要求 要求应从NvMedia DLA安全路径中删除对GPU地址空间的访问。 为实现此目标，引入了无格式的网络I / O张量，可让您在将数据传递给NVID
PyTorch: tensor操作(二) 创建tensor: empty ones zeros rand randn randint randperm full
芒果干的博客
10-17 9304
本文目录一、创建tensor1. 指定tensor2. 创建特殊类型的tensor（1）均匀分布（2）正态分布（3）整数范围（4）N范围内的随机序列二、Tensor.expand()三、torch.cat()四、torch.split()五、torch.chunk() 一、创建tensor 1. 指定tensor 如果tensor都是整形，默认创建的都是torch.int64 如果tensor有一个浮点型，创建的就是torch.float32 也可以用tensor.type()来改变tensor类型 t
torch.Tensor（）与torch.empty（）张量创建方法
热门推荐
weixin_41790566的博客
05-12 3万+
torch.empty() 创建任意数据类型的张量 torch.tensor() 只创建torch.FloatTensor类型的张量 所以torch.Tensor() 是torch.empty() 的特例 empty（）返回一个包含未初始化数据的张量。使用参数可以指定张量的形状、输出张量、数据类型。 举例 empty = torch.empty(2, 3) # Returns a tensor filled with uninitialized data. print(empty) ...
Tensor
最新发布
qq_43561737的博客
08-14 974
print(a)结果：tensor（4.）
Pytorch 基础知识总结（一）
m0_56144250的博客
10-11 2045
Pytorch基础知识点：张量类型的理解和创建，通过张量的创建构造一个带有随机噪声的线性分布人造数据集。
深度学习实验二
vvhvj的博客
09-10 1153
NNDL 实验二 pytorch入门 一. 概念：张量、算子 1.张量：在深度学习框架中，数据经常用张量(Tensor)的形式来存储。张量是矩阵的扩展与延伸，可以认为是高阶的矩阵，是标量,向量,矩阵的高维拓展。 2.算子：算子是构建复杂机器学习模型的基础组件，包含一个函数f(x)的前向函数和反向函数。 二. 使用pytorch实现张量运算 1.2 张量 1.2.1 创建张量 创建一个张量可以有多种方式，如：指定数据创建、指定形状创建、指定区间创建等。 1.2.1.1 指定数据创建张量 通过给定Python列
8.TensorRT中文版开发教程-----如何在TensorRT中使用动态形状(Dynamic Shapes)
专注于人工智能领域的小何尚
05-02 1万+
在TensorRT中使用动态形状(Dynamic Shapes) 点击此处加入NVIDIA开发者计划 动态形状(Dynamic Shapes) 是延迟指定部分或全部张量维度直到运行时的能力。动态形状可以通过 C++ 和 Python 接口使用。 以下部分提供了更详细的信息；但是，这里概述了构建具有动态形状的引擎的步骤： 1.网络定义不得具有隐式批次维度。 C++ 通过调用创建INetworkDefinition IBuilder::createNetworkV2(1U << s
TensorRT笔记(5)使用自定义层扩展TensorRT
qq_33287871的博客
02-07 647
4.使用自定义层扩展TensorRT4.使用自定义层扩展TensorRT4.1 使用C ++ API添加自定义层4.1.1 示例：使用C ++添加自定义层4.1.2 示例：使用C ++添加Caffe不支持的自定义层4.1.3 示例：使用C ++添加UFF不支持的自定义层4.1.4 示例：使用C ++添加具有动态形状支持的自定义图层4.1.5 示例：使用C ++添加具有INT8 I / O支持的自定义层4.1.6 示例：使用C ++ API实现GELU运算符4.2 使用Python API添加自定义图层4.
TensorRT笔记(10)使用循环
qq_33287871的博客
02-10 560
使用循环9.使用循环9.1 定义循环9.2 形式语义学9.3 嵌套循环9.4 局限性9.5 用循环替换IRNNLayer和IRNNv2Layer 9.使用循环 NVIDIA®TensorRT™支持类似循环的结构，这对于循环网络很有用。 TensorRT循环支持扫描输入张量，张量的递归定义以及“扫描输出”和“最终值”输出。 9.1 定义循环 循环由循环边界层定义。 ITripLimitLayer指定循环迭代多少次。 IIteratorLayer使循环可以在张量上迭代。 IRecurrenceLayer指定一
Pytorch基础操作 —— 4. 创建 Tensor 的一般方法
老程的技术笔记
10-08 4163
文章目录基础操作 —— Tensor 的创建创建tensor时常用到的一些参数说明创建空的张量 torch.empty(...)例程创建随机数值的张量 torch.rand(...)参数说明例程创建全0的张量 torch.zeros(...)例程创建全1的张量 torch.ones(...)例程 基础操作 —— Tensor 的创建 首先，在某些情况下，我们需要创建一些tensor，以下函数名很多包含相同的参数名，我在这里统一的罗列出来，方便查找。 创建tensor时常用到的一些参数说明 size 定义输出
Pytorch入门
qq_33346150的博客
08-01 243
Pytorch入门张量新建张量张量运算张量的转换 张量 新建张量 1.生成一个空张量torch.empty import torch x = torch.empty(5,3) print(x) 2.rand(*size, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=False) -> Tensor返回一个张量，该张量由间隔上均匀分布的随机数填充：math:[0，1） import torch
从0开始学Pytorch——Tensor基础
m0_62497785的博客
04-20 643
本文简要介绍了张量以及张量的相关知识。
张量的定义及创建
qq_42138662的博客
12-22 3099
一.张量的定义 1.张量 张量是一个多维数组,是标量,向量,矩阵的高维拓展 2.Tensor数据类型与Variable数据类型 在PyTorch0.4.0之前,张量相关的数据类型有Tensor和Variable,其中Tensor用于存储张量数据,Variable用来对Tensor进行封装并用于自动求导. Variable数据类型结构如下图: data:被包装的Tensor数据 grad:data的梯度 grad_fn:创建Tensor的方法,如加法,乘法等,是自动求导的关键 requires_grad:
TensorRT5.1.5.0入门 TensorRT头文件学习
Nonentity never give up ? neuer : loser
08-17 5267
目录结构NvInfer.hNvInferPlugin.h简介使用方法具体细节支持的层读取细节其他NvUtils.h简介使用方法具体细节NvCaffeParser.h 最近时间宽裕，准备学习一下tensorRT的头文件。 TensorRT-5.1.5.0 include NvInfer.h NvInferPlugin.h NvCaffeParser.h NvOnnxConfig.h NvOnn...
TensorRT5输出engine网络层
mengdeyuanterry的博客
12-06 2783
        由于TensorRT5的API相对于TensorRT4有了不少改变，特别是删除了config类，无法打印转换后生成的trt_engine网络层。通过依次读取network每个layer并判断layer类别，输出layer的设置属性，可以达到更好的查看效果。         代码如下： const std::string kShowLayerType[24] = { "...
pytorch张量_PyTorch张量-详细概述
从零开始的教程世界
07-17 642
pytorch 张量In this PyTorch tutorial, we’ll discuss PyTorch Tensor, which are the building blocks of this Deep Learning Framework. 在本PyTorch教程中，我们将讨论PyTorch Tensor ，这是此深度学习框架的构建基块。 Let’s get started! 让...
【玩转yolov5】使用TensorRT C++ API搭建yolov5s-v4.0网络结构(1)
05-08 2441
class Focus(nn.Module): # Focus wh information into c-space # 先要做一个切片,然后再做一个concat def __init__(self, c1, c2, k=1, s=1, p=None, g=1, act=True): # ch_in, ch_out, kernel, stride, padding, groups super(Focus, self).__init__() ...
【tensorRT文档翻译】7. Working With Dynamic Shapes
Hali_Botebie的博客
05-11 876
https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#work_dynamic_shapes 文章目录7.处理动态形状7.1. Specifying Runtime Dimensions7.2. Optimization Profiles7.2.1。 多个优化配置文件的绑定7.3. Layer Extensions For Dynamic Shapes7.4. Restrictions For Dynamic Sha
TensorRT-8.5.1使用treexec
07-24
TensorRT 是 NVIDIA 开发的一款深度学习优化框架，用于加速机器学习模型推理的速度并降低资源消耗。TreEXec 是 TensorRT 的一部分，它提供了一个高级 API 和动态执行引擎，允许用户编写自定义执行策略、调度算法以及操作组合，进一步提高推理性能。 ### TensorRT-8.5.1 中的 TreEXec 功能 在 TensorRT-8.5.1 版本中，TreEXec 给开发者提供了一系列工具和API，使其能够： 1. **自定义执行路径**：TreEXec 允许开发者基于输入数据和模型结构设计定制化的执行路径，这可以针对特定工作负载优化性能。 2. **动态调度**：通过 TreEXec，用户可以调整算子之间的依赖关系和执行顺序，使得在运行时可以根据实际的数据流和系统资源动态优化计算流程。 3. **算子融合**：TensorRT 可以自动将相邻的运算融合在一起，减少内存访问次数和计算延迟，这在 TreEXec 中可以进一步通过手动控制实现更精细的优化。 4. **灵活性和可移植性**：使用 TreEXec 编写的执行策略可以在多种硬件上运行，并支持不同类型的张量处理模式，包括单精度、半精度等。 ### 使用 TreEXec 的步骤 1. **构建 TensorRT Engine**：首先需要使用 ONNX 或 Caffe 等模型格式构建模型并在 TensorRT 中优化生成模型引擎。 2. **定义执行策略**：接下来，在工程中定义自定义的执行策略。这通常涉及编写 TreEXec 插件，其中包含具体的调度规则和操作组合逻辑。 3. **集成自定义策略到模型中**：最后，将自定义的执行策略应用到已优化的模型上，通过 TreEXec API 调整引擎的行为以适应特定的工作负载需求。 ### 相关问题： 1. 如何开始使用 TreEXec 进行模型优化？ 2. TreEXec 对于哪种类型的应用场景特别有效？ 3. TreEXec 是否支持与其他加速库或框架（如 OpenVINO、Intel MKL-DNN）的协同优化？ 通过上述介绍和示例，希望您对 TensorRT-8.5.1 中的 TreEXec 有了基本的理解，并能开始探索如何将其应用于您的深度学习项目中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yhwang-hub

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值