CNN推理和动态shape

cxb1998

已于 2022-08-17 18:39:37 修改

阅读量587

点赞数

分类专栏： CUDA tensorRT 文章标签：深度学习 c++

于 2022-08-17 18:37:11 首次发布

本文链接：https://blog.csdn.net/qq_41389330/article/details/126391586

版权

CUDA 同时被 2 个专栏收录

10 篇文章 0 订阅

订阅专栏

tensorRT

8 篇文章 2 订阅

订阅专栏

通过对应维度设为-1表示该维度动态取值

例如要设定输入的batchsize和h，w都为动态的：

nvinfer1::ITensor* input = network->addInput("image", nvinfer1::DataType::kFLOAT, nvinfer1::Dims4(-1, num_input, -1, -1));

编译时配置OptimizationProfile实现动态shape

其中三个值可选，分别为KMIN，KOPT，KMAX，即最小，最适和最大，推理时在最小和最大范围内都可。

auto profile = builder->createOptimizationProfile();


//范围在(1,1,3,3)和(10,1,5,5)
profile->setDimensions(input->getName(), nvinfer1::OptProfileSelector::kMIN, nvinfer1::Dims4(1, num_input, 3, 3));
profile->setDimensions(input->getName(), nvinfer1::OptProfileSelector::kOPT, nvinfer1::Dims4(1, num_input, 3, 3));
rofile->setDimensions(input->getName(), nvinfer1::OptProfileSelector::kMAX, nvinfer1::Dims4(maxBatchSize, num_input, 5, 5));

config->addOptimizationProfile(profile);

推理时需要明确尺寸

execution_context->setBindingDimensions(0, nvinfer1::Dims4(ib, 1, ih, iw));

bindings[0]为输入。

优惠劵

cxb1998

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
CNN推理和动态shape

cnn的动态输入
复制链接

扫一扫

专栏目录

Boruta-Shap:基于树的特征选择工具，结合了Boruta特征选择算法和Shapley值

05-14

博鲁塔沙普 BorutaShap是一种包装器特征选择方法，它结合了Boruta特征选择算法和Shapley值。事实证明，这种组合在速度和生成的特征子集的质量上都无法执行原始的排列重要性方法。该算法不仅提供了更好的特征子集，而且还可以同时提供最准确和一致的全局特征等级，也可用于模型推断。与原始R包（将用户限制为随机森林模型）不同，BorutaShap允许用户在特征选择过程中选择任何基于树的学习器作为基础模型。尽管BorutaShap的运行时性能有所提高，但是SHAP TreeExplainer随观察次数线性增长，这使得它在处理大型数据集时非常麻烦。为了解决这个问题，BorutaShap包含了一个采样过程，该过程使用算法每次迭代时可用数据的最小可能子采样。它通过比较样本的隔离林产生的分布和使用ks-test的数据来找到该样本。从实验来看，此过程可以将运行时间减少多达80％，同时

Demo-C-Shap

02-13

Demo-C-Shap

参与评论您还未登录，请先登录后发表或查看评论

DYNAMAP:CNN推理的动态算法映射

03-11

动态地图 CNN推理的动态算法映射软件算法映射系统要求： Linux下的GCC编译器依赖关系： Python 3.7 TeX系统核心图形约简功能来自开源。确保将已修改的src下载到Algorithm Mapper目录中，以完整显示转储文件。软件算法映射器用户指南下载算法映射器转到目录pbqp / src并键入 make make install cd .. 运行CNN图构建脚本： python cnn_const.py 该程序将要求输入有关设备功能，型号名称和CNN元数据的信息。我们为Inception模块提供了预设的配置文件。将在“ pbqp / testcases”文件夹中创建一个带有模型名称的配置文件。运行PBQP求解器 ./run_test 可以通过以下方式生成用于还原的转储文件（包括中间步骤的拓扑图）

深度学习框架中的动态Shape问题

QQ哥的专栏

07-07

1671

深度学习框架中的动态shape问题

【机器学习笔记】可解释机器学习-学习笔记 Interpretable Machine Learning (Deep Learning)

VentusDeus的博客

12-13

705

可解释机器学习-笔记和代码

4.4.tensorRT基础(1)-模型推理时动态shape的具体实现要点

周同学的博客

07-16

1406

4.4.tensorRT基础(1)-模型推理时动态shape的具体实现要点

tensorRT模型推理时动态shape

Rolandxxx的博客

11-05

1754

和之前全连接的代码唯一的区别就是两个点，一个是网络结构的定义换成了CNN，另一个是动态shape的配置createOptimizationProfile。OptimizationProfile是一个优化配置文件，用来指定输入的shape可以变换的范围的，不要被优化两个字蒙蔽了双眼，其实就是为了告诉tensorRT我的shape是什么范围！在全卷积网络中我们通常就是有这个诉求的，推理时的shape是可以动态改变的，不一定要限制死，这个动态shape不一定只宽高，还指batchsize也是动态的。

【2023 · CANN训练营第一季】TIK C++矢量算子动态shape输入的实现

ALittleBoy的博客

05-28

176

当算子shape固定时，开发者使用不同shape时需要重新对算子进行编译，带来大量的算子二进制文件。而动态shape的算子可以将形状通过核函数的入参传入核函数内，参与内部逻辑计算，从而符合不同shape下的使用场景。基于现有的固定shape算子，将其改装为动态shape的算子。，它将指向控制核函数逻辑处理的至关重要的这几个变量。TIK C++矢量算子动态shape输入的实现。依靠外界输入得到，在核函数中额外传入一个。

深度学习框架与动态shape

archimekai的博客

09-26

2272

动起来更快？从Nimble和DISC看深度学习框架与动态shape •2021年9月25日 [email protected] •什么是动态shape/动态模型 •静态模型：每个算子的输入输出shape均在图执行前已知。 •编译期就知道形状，并且执行期保持不变 •张量内存预先分配 •动态模型：包括控制流、动态数据结构（例如tree-structured long short-term memory）、动态形状的模型 •张量形状、内存不能预先知道 • •使用动态图的主要领域 •自然语言处

C++ 实际应用总结的onnx转engine并推理的代码（基于去噪网络）

adsfasfZF的博客

08-25

1500

由于需要对去噪网络加速推理，部署到英伟达开发板，花费了一周多的时间学习C++语法和**onnx转engine**流程。这里总结了**onnx转engine并推理**的全过程

CNN代码和模型.zip

08-06

使用CNN提取花朵特征进行分类，包含训练测试代码，以及训练好的CNN的权重参数

基于 CNN 和 VGG 网络模式识别系统的设计与实现.pdf

10-19

基于 CNN 和 VGG 网络模式识别系统的设计与实现.pdf基于 CNN 和 VGG 网络模式识别系统的设计与实现.pdf基于 CNN 和 VGG 网络模式识别系统的设计与实现.pdf

CNN的基本组成部分和训练过程

最新发布

04-06

卷积神经网络 CNN的基本组成部分和训练过程

CNN详细资料和讲解.zip

08-18

深度学习的入门，Forward路径的组成和各模块的详细解析，以及训练过程是怎样的，均有相应的论文和资料

深度学习用于脑龄估计

cc1609130201的博客

05-29

675

3.2.2. 卷积神经网络自2017年以来，CNN因其自动特征提取能力和高性能结果，吸引了大量研究者在脑年龄估计方面的应用，并变得非常流行。 •基于切片的CNN模型：当谈到基于切片的CNN方法时，2D MRI扫描通常被用来训练二维CNN网络。文献[49]中的工作强调了使用3D CNN进行大脑年龄预测的限制，包括需要大量的参数和训练阶段的计算复杂性。因此，提出了一种2D循环神经网络（RNN）用于大脑年龄预测。在提出的模型中，2D CNN编码了重要的切片内特征，而RNN处理了

4.4 案例：CNN进行分类

qq_40066957的博客

05-07

618

4.4 案例：CNN进行分类学习目标目标掌握keras卷积网络相关API 掌握卷机网络的构建了解迁移学习以及tf.keras.applications使用应用 4.4.1 卷积神经网络构建识别手写数字卷积神经网络包含一个或多个卷积层（Convolutional Layer）、池化层（Pooling Layer）和全连接层（Fully-connected ...

faster-rcnn的rpn层的shape变换过程

最爱方方的博客

12-06

329

1 假设是一张图片，因此输入的shape = [1,h,w,512] 2 rpn_cls_score 的shape = [1, h,w,18] 然后调用一个自己写的_reshape函数，里面经过了一下维度变换：经过tf.transpose[0, 3, 1, 2] 后shape = [1, 18 , h , w ] 经过tf.reshpe（1,2，9h , w）后shape = [1,2...

【点云处理之论文狂读经典版8】—— O-CNN: Octree-based Convolutional Neural Networks for 3D Shape Analysis

yuanmiyu6522的博客

06-02

1517

O-CNN: Octree-based Convolutional Neural Networks for 3D Shape Analysis摘要摘要以八叉树叶子节点中的平均法向量为输入，执行3D CNN操作设计了一种新的八叉树数据结构通过限制在八叉树子节点上的计算，O-CNN的内存消耗和计算复杂度随着八叉树深度的增加呈二次增长，使得3D CNN能够处理更高分辨率的3D 模型代码详见：https://github.com/Microsoft/O-CNN ...

【模型部署】入门教程（七）：TensorRT 模型构建与推理

qq_43456016的博客

04-20

1331

TensorRT 是由 NVIDIA 发布的深度学习框架，用于在其硬件上运行深度学习推理。TensorRT 提供量化感知训练和离线量化功能，用户可以选择 INT8 和 FP16 两种优化模式，将深度学习模型应用到不同任务的生产部署，如视频流、语音识别、推荐、欺诈检测、文本生成和自然语言处理。TensorRT 经过高度优化，可在 NVIDIA GPU 上运行，并且可能是目前在 NVIDIA GPU 运行模型最快的推理引擎。关于 TensorRT 更具体的信息可以访问TensorRT官网了解。

cnn 分类c++代码

07-25

### 回答1： CNN（卷积神经网络）是一种用于图像分类的深度学习模型。通过卷积层、池化层和全连接层的组合，CNN能够从输入的图像中提取特征并进行分类。下面是一个简单的CNN分类代码示例：首先，导入必要的库和模块，如tensorflow和keras： import tensorflow as tf from tensorflow import keras 接下来，定义CNN模型。可以使用Sequential类来顺序地构建模型，也可以使用Functional API进行更灵活的模型定义。在本例中，我们使用Sequential类： model = keras.Sequential() 添加卷积层和池化层： model.add(keras.layers.Conv2D(filters=32, kernel_size=3, activation='relu', input_shape=(28, 28, 1))) # 输入图像大小为28x28，通道数为1 model.add(keras.layers.MaxPooling2D(pool_size=(2, 2))) 继续添加卷积层和池化层： model.add(keras.layers.Conv2D(filters=64, kernel_size=3, activation='relu')) model.add(keras.layers.MaxPooling2D(pool_size=(2, 2))) 添加全连接层： model.add(keras.layers.Flatten()) model.add(keras.layers.Dense(units=128, activation='relu')) model.add(keras.layers.Dense(units=10, activation='softmax')) # 输出层，10个类别编译模型： model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) 训练模型： model.fit(train_images, train_labels, epochs=10, batch_size=64) 其中train_images是训练图像的集合，train_labels是相应的类别标签。最后，使用测试数据对模型进行评估： test_loss, test_acc = model.evaluate(test_images, test_labels) 以上就是一个基本的CNN分类代码。通过构建深层的卷积神经网络，利用不同的卷积核和池化操作，CNN能够自动提取图像的特征，并应用于分类任务中。该模型能够有效地处理图像数据，并取得较好的分类性能。 ### 回答2： CNN（卷积神经网络）是一种在图像识别和处理领域广泛应用的深度学习模型。CNN模型的分类C代码可以涵盖网络结构的定义、数据预处理、模型的训练和推理过程。首先，我们需要定义CNN网络结构。这可以通过使用诸如Keras或PyTorch等深度学习框架的API来完成。我们可以通过堆叠多个卷积层、池化层和全连接层来定义CNN模型的结构，并使用合适的激活函数和正则化方法来优化模型的性能。其次，数据预处理是非常重要的一步。我们需要将图像数据转换为模型可接受的格式。这可能包括将图像缩放为固定大小、将像素值归一化到特定范围、进行数据增强等操作。这样可以增强模型的泛化能力，并减少过拟合的风险。然后，我们可以开始训练模型。我们可以使用反向传播算法来更新模型的参数，以使其能够更好地对训练数据进行分类。我们可以指定损失函数来衡量模型在训练期间的性能，并选择适当的优化算法来最小化损失函数。通过迭代训练过程，模型的准确性将不断提高。最后，我们可以使用训练好的模型进行推理。通过将新的图像数据输入到模型中，我们可以得到预测的类别标签。这可以通过使用模型的前向传播方法来实现，根据输出的概率分布进行分类决策。综上所述，CNN分类C代码可以根据具体需求来编写。它包括定义网络结构、数据预处理、模型训练和推理过程。通过调整和优化这些步骤，我们可以训练出强大的CNN模型，用于图像分类和其他相关任务。 ### 回答3： CNN（卷积神经网络）是一种广泛应用于图像识别和计算机视觉领域的机器学习模型。下面是一个示例的CNN分类C语言代码： ```c #include <stdio.h> #include <stdlib.h> // 定义CNN结构体 typedef struct { int numFilters; // 卷积层滤波器的数量 int filterSize; // 卷积层滤波器的尺寸 int imageSize; // 输入图像的尺寸 float** filters; // 卷积层滤波器的权重矩阵 } CNN; // 初始化CNN CNN* initializeCNN(int numFilters, int filterSize, int imageSize) { CNN* cnn = (CNN*)malloc(sizeof(CNN)); cnn->numFilters = numFilters; cnn->filterSize = filterSize; cnn->imageSize = imageSize; // 初始化滤波器权重矩阵 cnn->filters = (float**)malloc(numFilters * sizeof(float*)); for (int i = 0; i < numFilters; i++) { cnn->filters[i] = (float*)malloc(filterSize * filterSize * sizeof(float)); for (int j = 0; j < filterSize * filterSize; j++) { cnn->filters[i][j] = (float)rand() / RAND_MAX; // 随机初始化权重值 } } return cnn; } // CNN分类函数 int classifyCNN(CNN* cnn, float** image) { // 卷积运算 float** result = (float**)calloc(cnn->numFilters, sizeof(float*)); for (int i = 0; i < cnn->numFilters; i++) { result[i] = (float*)calloc(cnn->imageSize - cnn->filterSize + 1, sizeof(float)); for (int j = 0; j < cnn->imageSize - cnn->filterSize + 1; j++) { for (int k = 0; k < cnn->imageSize - cnn->filterSize + 1; k++) { for (int m = 0; m < cnn->filterSize; m++) { for (int n = 0; n < cnn->filterSize; n++) { result[i][j] += image[j + m][k + n] * cnn->filters[i][m * cnn->filterSize + n]; } } } } } // 池化运算 float* pooledResult = (float*)calloc(cnn->numFilters, sizeof(float)); for (int i = 0; i < cnn->numFilters; i++) { pooledResult[i] = result[i][0]; for (int j = 1; j < cnn->imageSize - cnn->filterSize + 1; j++) { if (result[i][j] > pooledResult[i]) { pooledResult[i] = result[i][j]; } } } // 选择最大池化结果作为分类结果 int maxIndex = 0; for (int i = 1; i < cnn->numFilters; i++) { if (pooledResult[i] > pooledResult[maxIndex]) { maxIndex = i; } } return maxIndex; } int main() { int numFilters = 5; int filterSize = 3; int imageSize = 5; // 构造一个3x3的示例图像 float** image = (float**)malloc(imageSize * sizeof(float*)); for (int i = 0; i < imageSize; i++) { image[i] = (float*)malloc(imageSize * sizeof(float)); for (int j = 0; j < imageSize; j++) { image[i][j] = (float)rand() / RAND_MAX; // 随机初始化像素值 } } // 初始化CNN CNN* cnn = initializeCNN(numFilters, filterSize, imageSize); // 分类图像 int classIndex = classifyCNN(cnn, image); // 打印分类结果 printf("The image is classified as class %d.\n", classIndex); // 释放内存 for (int i = 0; i < imageSize; i++) { free(image[i]); } free(image); for (int i = 0; i < numFilters; i++) { free(cnn->filters[i]); } free(cnn->filters); free(cnn); return 0; } ``` 上述代码演示了一个使用CNN对图像进行分类的示例。首先，我们定义了一个CNN结构体，其中包含卷积层的滤波器数量、滤波器尺寸以及输入图像尺寸等参数。接着，我们初始化了CNN并随机初始化了滤波器的权重值。然后，我们通过卷积运算和池化运算得到了每个滤波器的池化结果，并选择最大池化结果作为分类结果。最后，打印出了分类结果并进行了内存释放。这只是一个简单的CNN分类C代码示例，实际上，CNN还可以进行更深层次的卷积和池化运算，以及更加复杂的网络结构和训练过程。

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交