TensorRTX 生成Engine笔记 Alexnet

已于 2022-06-22 13:33:13 修改
阅读量864 收藏 4
点赞数
分类专栏： TensorRT C++ 文章标签： c++
于 2022-06-22 11:15:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/highoooo/article/details/125404259
版权
C++ 同时被 2 个专栏收录
35 篇文章 0 订阅
订阅专栏
TensorRT
11 篇文章 0 订阅
订阅专栏

目录

A

本文为https://github.com/wang-xinyu/tensorrtx/tree/master/alexnet笔记
当所有plugin都有tensorrt api支持时，不需要用cuda自己写plugin，否则需要

include

NvInfer.h
用于Engine构造和使用所必须要的API
官网提供的c++API里面 Nvinfer.h

cuda_runtime_api.h
用于cudarun必须要的API

logging.h
顾名思义，这是日志组件，用于管理builder, engine 和 runtime 的日志信息。
通常来说，logger 会作为一个必须的参数传递给 builder runtime parser的实例化接口。
该类为 TensorRT 工具和示例提供了一个通用接口来将信息记录到控制台，并支持记录两种类型的消息：

  • 具有相关严重性（信息、警告、错误或内部错误/致命）的调试消息
  • 测试通过/失败消息
    与直接发送到 stdout/stderr 相比，让所有样本都使用此类进行日志记录的优势在于，控制样本输出的详细程度和格式的逻辑集中在一个位置。
    将来，可以扩展此类以支持将测试结果转储到某种标准格式（例如，JUnit XML）的文件中，并提供额外的元数据（例如，对测试运行的持续时间进行计时）。

Alexnet-python

class alexnet(nn.Module):
    
    def __init__(self, num_classes=1000):
        super(alexnet, self).__init__()
        self.features = nn.Sequential(
            nn.Conv2d(3, 64, kernel_size=11, stride=4, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
            nn.Conv2d(64, 192, kernel_size=5, stride=1, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
            nn.Conv2d(192, 384, kernel_size=3, stride=1, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(384, 256, kernel_size=3, stride=1, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(256, 256, kernel_size=3, stride=1, padding=1),
            nn.ReLU(inplace=True)  ,  
            nn.MaxPool2d(kernel_size=3, stride=2)
        )
        self.avgpool = nn.AdaptiveAvgPool2d((6,6))
        self.classifier = nn.Sequential(
            nn.Dropout(),
            nn.Linear(6*6*256, 4096),
            nn.ReLU(inplace=True),
            nn.Dropout(),
            nn.Linear(4096, 4096),
            nn.ReLU(inplace=True),
            nn.Linear(4096, num_classes)
        )
    
    def forward(self, x):
        x = self.features(x)
        x = self.avgpool(x)
        x = x.view(x.size(0), -1)
        out = self.classifier(x)
        return out

构建Engine

官方API构造步骤

在这里插入图片描述在这里插入图片描述

Code

part1 Main

 size_t size{0};

 if (std::string(argv[1]) == "-s") {
     IHostMemory* modelStream{nullptr};
     APIToModel(1, &modelStream);
     assert(modelStream != nullptr);

     std::ofstream p("alexnet.engine", std::ios::binary);
     if (!p)
     {
         std::cerr << "could not open plan output file" << std::endl;
         return -1;
     }
     p.write(reinterpret_cast<const char*>(modelStream->data()), modelStream->size());
     modelStream->destroy();
     return 1;

size_t size{0};

C/C++标准在stddef.h中定义的，size_t 类型表示C中任何对象所能达到的最大长度，它是无符号整数。

IHostMemory modelStream{nullptr};

https://docs.nvidia.com/deeplearning/tensorrt/api/c_api/classnvinfer1_1_1_i_host_memory.html
https://docs.nvidia.com/deeplearning/tensorrt/api/python_api/infer/FoundationalTypes/HostMemory.html
申请enginestream内存
> 在这里插入图片描述

std::ofstream p(“alexnet.engine”, std::ios::binary) ;

二进制形式打开alexnet.engine

reinterpret_cast<const char>(modelStream->data())

强制转换为const char*用于写入二进制文件alexnet.engine
在这里插入图片描述

p.write(reinterpret_cast<const char>(modelStream->data()), modelStream->size());

ostream& write(const char * buffer, int len); 参数解释：字符指针 buffer 指向内存中一段存储空间。len 是读写的字节数。

part2 APIToModel(1, &modelStream);

void APIToModel(unsigned int maxBatchSize, IHostMemory** modelStream)
{
    // Create builder
    IBuilder* builder = createInferBuilder(gLogger);
    IBuilderConfig* config = builder->createBuilderConfig();

    // Create model to populate the network, then set the outputs and create an engine
    ICudaEngine* engine = createEngine(maxBatchSize, builder, config, DataType::kFLOAT);
    assert(engine != nullptr);

    // Serialize the engine
    (*modelStream) = engine->serialize();

    // Close everything down
    engine->destroy();
    builder->destroy();
}

IBuilder builder = createInferBuilder(gLogger);

必须要的 我也不懂
在这里插入图片描述

IBuilderConfig config = builder->createBuilderConfig();

必须要的 我也不懂
在这里插入图片描述

(*modelStream) = engine->serialize();

IHostMemory** modelStream 传入的是双重指针，所以这里这么用
在这里插入图片描述

part3 CreateEngine

ICudaEngine* createEngine(unsigned int maxBatchSize, IBuilder* builder, IBuilderConfig* config, DataType dt)
{
    INetworkDefinition* network = builder->createNetworkV2(0U);

    // Create input tensor of shape { 1, 1, 32, 32 } with name INPUT_BLOB_NAME
    ITensor* data = network->addInput(INPUT_BLOB_NAME, dt, Dims3{3, INPUT_H, INPUT_W});
    assert(data);

    std::map<std::string, Weights> weightMap = loadWeights("../alexnet.wts");
    Weights emptywts{DataType::kFLOAT, nullptr, 0};

    IConvolutionLayer* conv1 = network->addConvolutionNd(*data, 64, DimsHW{11, 11}, weightMap["features.0.weight"], weightMap["features.0.bias"]);
    assert(conv1);
    conv1->setStrideNd(DimsHW{4, 4});
    conv1->setPaddingNd(DimsHW{2, 2});

    // Add activation layer using the ReLU algorithm.
    IActivationLayer* relu1 = network->addActivation(*conv1->getOutput(0), ActivationType::kRELU);
    assert(relu1);

    // Add max pooling layer with stride of 2x2 and kernel size of 2x2.
    IPoolingLayer* pool1 = network->addPoolingNd(*relu1->getOutput(0), PoolingType::kMAX, DimsHW{3, 3});
    assert(pool1);
    pool1->setStrideNd(DimsHW{2, 2});

    IConvolutionLayer* conv2 = network->addConvolutionNd(*pool1->getOutput(0), 192, DimsHW{5, 5}, weightMap["features.3.weight"], weightMap["features.3.bias"]);
    assert(conv2);
    conv2->setPaddingNd(DimsHW{2, 2});
    IActivationLayer* relu2 = network->addActivation(*conv2->getOutput(0), ActivationType::kRELU);
    assert(relu2);
    IPoolingLayer* pool2 = network->addPoolingNd(*relu2->getOutput(0), PoolingType::kMAX, DimsHW{3, 3});
    assert(pool2);
    pool2->setStrideNd(DimsHW{2, 2});

    IConvolutionLayer* conv3 = network->addConvolutionNd(*pool2->getOutput(0), 384, DimsHW{3, 3}, weightMap["features.6.weight"], weightMap["features.6.bias"]);
    assert(conv3);
    conv3->setPaddingNd(DimsHW{1, 1});
    IActivationLayer* relu3 = network->addActivation(*conv3->getOutput(0), ActivationType::kRELU);
    assert(relu3);

    IConvolutionLayer* conv4 = network->addConvolutionNd(*relu3->getOutput(0), 256, DimsHW{3, 3}, weightMap["features.8.weight"], weightMap["features.8.bias"]);
    assert(conv4);
    conv4->setPaddingNd(DimsHW{1, 1});
    IActivationLayer* relu4 = network->addActivation(*conv4->getOutput(0), ActivationType::kRELU);
    assert(relu4);

    IConvolutionLayer* conv5 = network->addConvolutionNd(*relu4->getOutput(0), 256, DimsHW{3, 3}, weightMap["features.10.weight"], weightMap["features.10.bias"]);
    assert(conv5);
    conv5->setPaddingNd(DimsHW{1, 1});
    IActivationLayer* relu5 = network->addActivation(*conv5->getOutput(0), ActivationType::kRELU);
    assert(relu5);
    IPoolingLayer* pool3 = network->addPoolingNd(*relu5->getOutput(0), PoolingType::kMAX, DimsHW{3, 3});
    assert(pool3);
    pool3->setStrideNd(DimsHW{2, 2});

    IFullyConnectedLayer* fc1 = network->addFullyConnected(*pool3->getOutput(0), 4096, weightMap["classifier.1.weight"], weightMap["classifier.1.bias"]);
    assert(fc1);

    IActivationLayer* relu6 = network->addActivation(*fc1->getOutput(0), ActivationType::kRELU);
    assert(relu6);

    IFullyConnectedLayer* fc2 = network->addFullyConnected(*relu6->getOutput(0), 4096, weightMap["classifier.4.weight"], weightMap["classifier.4.bias"]);
    assert(fc2);

    IActivationLayer* relu7 = network->addActivation(*fc2->getOutput(0), ActivationType::kRELU);
    assert(relu7);

    IFullyConnectedLayer* fc3 = network->addFullyConnected(*relu7->getOutput(0), 1000, weightMap["classifier.6.weight"], weightMap["classifier.6.bias"]);
    assert(fc3);

    fc3->getOutput(0)->setName(OUTPUT_BLOB_NAME);
    std::cout << "set name out" << std::endl;
    network->markOutput(*fc3->getOutput(0));

    // Build engine
    builder->setMaxBatchSize(maxBatchSize);
    config->setMaxWorkspaceSize(1 << 20);
    ICudaEngine* engine = builder->buildEngineWithConfig(*network, *config);
    std::cout << "build out" << std::endl;

    // Don't need the network any more
    network->destroy();

    // Release host memory
    for (auto& mem : weightMap)
    {
        free((void*) (mem.second.values));
    }

    return engine;
}

INetworkDefinition network = builder->createNetworkV2(0U);

INetworkDefinition 网络结构构建器 类似sequential
在这里插入图片描述

后面就是按照wts生成map读进INetworkDefinition network里面了

// Build engine
    builder->setMaxBatchSize(maxBatchSize);
    config->setMaxWorkspaceSize(1 << 20);
    ICudaEngine* engine = builder->buildEngineWithConfig(*network, *config);
    std::cout << "build out" << std::endl;

    // Don't need the network any more
    network->destroy();
// Release host memory
    for (auto& mem : weightMap)
    {
        free((void*) (mem.second.values));
    }

引用

TensorRT 8.4.1官方API文档 C++
TensorRT 8.4.1官方API文档 python
TensorRT中的一些基本概念
wang-xingyu TensorRT-Alexnet

highoooo
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文玩转tensorrt onnx+tensorrtx
qq_34809969的博客
06-12 4738
文章目录前言一、浅谈tensorrt二、tensorrtx的使用学习轨迹1.初出茅庐2.读入数据总结 前言 本文主要是针对onnx部署方式和tensorrtx（通过tensorrt网络定义API实现网络）两种方式进行对比，特别是刚入坑的小伙伴不知道用哪种方式更合适，更合理时，本文或许能够帮你捋清整个tensorrt的学习思路。 提示：这不是开往幼儿园的车，请各位坐稳抓紧了。 一、浅谈tensorrt 能有兴趣看这篇文章的我想或多或少对tensorrt有所了解，我不知道大家是因为什么了解到的tensor.
ArcEngine从excel读取数据生成点shape图层
09-26
ArcEngine二次开发，读取特定格式的Excel（示例文件已给出）中的坐标信息，生成点图层并输出对应的Shape文件。从Excel生成Shape图层。
tensorrtx:使用TensorRT网络定义API实施流行的深度学习网络
05-11
TensorRTx TensorRTx旨在通过tensorrt网络定义API实现流行的深度学习网络。 众所周知，tensorrt内置了解析器，包括caffeparser，uffparser，onnxparser等。但是，当使用这些解析器时，我们经常会遇到一些“不受支持的操作或层”问题，尤其是某些正在使用的最新模型新类型的图层。 那么，为什么不跳过所有解析器呢？ 我们只使用TensorRT网络定义API来构建整个网络，这并不复杂。 我写这个项目是为了熟悉tensorrt API，并与社区分享和学习。 所有模型首先在pytorch / mxnet / tensorflown中实现，然后导出权重文件xxx.wts，然后使用tensorrt加载权重，定义网络并进行推断。 在我的可以找到一些pytorch实现，其余的则来自多源开源实现。 消息 26 Apr 2021 。 添加Inceptio
yolov5 tensorrtx INT8量化 usb摄像头
jsjhhdnsjsisj的博客
02-20 771
（7）测试（tensorrtx的sample图片在tensorrtx/yolov3-spp/sample，-d后面就是测试图片路径）（1）将tensrort/yolov5/gen_wts.py文件和yolov5s.pt文件复制到yolov5文件夹下如下图。（2）修改yolov5.cpp，在tensorrt/yolov5文件夹下，将下图所示出改成INT8。（1）在tensorrtx/yolov5文件夹下生成yolov5s.cpp文件。（3）生成build文件夹，在tensorrt/yolov5文件夹下。
TensorRTX: 提升深度学习推理性能的新选择
最新发布
gitblog_00030的博客
03-20 230
TensorRTX: 提升深度学习推理性能的新选择 项目地址:https://gitcode.com/wang-xinyu/tensorrtx TensorRTX 是一个开源项目，它以NVIDIA的TensorRT为核心，为深度学习模型提供了优化的实现和部署工具。如果你在寻找一种方式提升你的AI应用的速度和效率，那么TensorRTX可能正是你需要的。 项目简介 TensorRTX由王欣宇开发并维...
TensorRTx 开源代码内容说明
程序猿视角
09-07 1163
TensorRTx 提供了把常见网络模型转化为 TensorRT 格式的功能。TensorRTx旨在使用tensorrt网络定义API实现流行的深度学习网络。tensorrt有内置的解析器，包括caffeparser、uffparser、onnxparser等，当我们使用这些解析器时，我们经常遇到一些“不受支持的操作或层”问题，特别是一些最先进的模型正在使用新类型的层。那么我们为什么不跳过所有的解析器呢？我们只使用TensorRT网络定义API来构建整个网络，并不复杂。
YOLOv5(PyTorch)目标检测实战：TensorRT加速部署
03-24
PyTorch版的YOLOv5是高性能的实时目标检测方法。 TensorRT是针对英伟达GPU的加速工具。本课程讲述如何使用TensorRT对YOLOv5进行加速和部署。   本课程的YOLOv5使用ultralytics/yolov5，分别在Ubuntu和windows10系统上做TensorRT加速和部署演示。课程内容包括：原理篇（YOLOv5网络架构与组件、TensorRT基础、TensorRT INT8量化、tensorrtx介绍、CUDA编程方法）、实践篇（Ubuntu和Windows10系统上的TensorRT部署演示）、代码解析篇（YOLOv5的TensorRT加速的代码解析） 。本课程提供注释后的YOLOv5的TensorRT加速代码。 除本课程《YOLOv5(PyTorch)目标检测实战：TensorRT加速部署》外，本人推出了有关YOLOv5目标检测的系列课程。请关注该系列的其它视频课程，包括：《YOLOv5(PyTorch)目标检测实战：训练自己的数据集》Ubuntu系统：https://edu.csdn.net/course/detail/30793Windows系统：https://edu.csdn.net/course/detail/30923《YOLOv5(PyTorch)目标检测：原理与源码解析》https://edu.csdn.net/course/detail/31428《YOLOv5(PyTorch)目标检测实战：Flask Web部署》https://edu.csdn.net/course/detail/31140
TensorRTx
W1995S的博客
08-22 1770
TensorRTx https://github.com/wang-xinyu/tensorrtx TensorRTx旨在通过tensorrt网络定义API实现流行的深度学习网络。正如我们所知，tensorrt有内置的解析器，包括caffeparser、uffparser、onnxparser等。但是当我们使用这些解析器时，我们经常会遇到一些“不支持的操作或层”问题，特别是一些最先进的模型正在使用新类型的层。 那么我们为什么不跳过所有的解析器呢？我们只是使用TensorRT网络定义API来构建整个网络，它
TensorRT 入门(6) tensorrtx lenet
清欢
02-26 2262
文章目录0. 前言1. 使用流程2. 源码解析2.1. 创建Engine文件2.2. 模型推理 0. 前言 学习TensorRT的资料实在是太少了 主要就是靠官方文档和官方Demo 其他开源项目基本都是针对某个或某些网络的，没有一些类似于tutorials的教程 除了官方资料外，Github上star最多的就是 tensorrtx 这个项目可能开始是作者练手的，后面慢慢丰富了之后有别人来提交PR 这个项目的主要内容是：通过 TensorRT Network API 来构建网络，并转换原始模型的
TensorRTx-YOLOv5工程解读（一）
ChunjieShan的博客
09-26 2873
TensorRTx工程解读——YoloV5（一） 权重生成：gen_wts.py 作者先是使用了gen_wts.py这个脚本去生成wts文件。顾名思义，这个.wts文件里面存放的就是.pt文件的权重。脚本内容如下： import sys import argparse import os import struct import torch from utils.torch_utils import select_device def parse_args(): parser = argpars
cityengine入门笔记.pdf
10-15
学生，初学者
ArcEngine二次开发实例笔记
04-26
ArcEngine二次开发实例笔记，是作者自己在研究生三年的ArcEngine92开发的实践过程中一点一滴积累起来的财富，相信笔记中记录的66个实例也是你ArcEngine二次开发中遇到的难题，因为现在已经很少接触GIS二次开发，所以将之前的工作总结贡献出来。 如果有啥疑问，还是可以找我，共同学习嘛。
Google Earth Engine自制学习笔记
08-12
GEE学习笔记
C#不用ArcEngine，生成Shp文件 源码
07-11
C#不用ArcEngine，生成Shp文件 源码
【tensorrt】从零YOLOV5在Windows10的部署（tensorrtx）
m0_51246196的博客
02-24 3501
【tensorrt】从零YOLOV5在Windows10的部署（tensorrtx）
TensorRTX 推演
图像算法的入门之路
10-25 1556
TensorRTX部署前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np
使用tensorrt在jetson nx中部署yolov5等目标检测模型（超详细）
qq_69194611的博客
05-18 3540
在nvidia的jetson nx上使用tensorrtx来转换和部署yolo等模型的.pt文件，并使用cmake进行部署。
yolo5生成engine jetson nano
07-28
生成Yolov5的engine文件在Jetson Nano上的步骤如下： 1. 将生成的.wts文件复制到Jetson Nano上的yolov5文件夹中。这个文件夹的路径是yolov5-5.0（Tensorrtx）\tensorrtx-yolov5-v5.0\yolov5。\[1\] 2. 打开yolo...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值