c++ TensorRT TRT::Tensor 用法学习笔记

AI算法网奇

已于 2022-10-13 01:52:41 修改

阅读量1.5k

点赞数

分类专栏： cuda c++入门宝典文章标签：学习人工智能深度学习

于 2022-08-09 00:36:58 首次发布

本文链接：https://blog.csdn.net/jacke121/article/details/126239010

版权

c++入门宝典同时被 2 个专栏收录

357 篇文章 117 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

cuda

121 篇文章 15 订阅

订阅专栏

这篇博客主要介绍了在C++中使用TensorRT的TRT::Tensor进行操作的学习笔记，包括如何将Tensor转到CPU并复制，以及遇到CUDA升级后的预测问题及解决策略，还提到了TensorRT获取多个预测结果的方法。

摘要由CSDN通过智能技术生成

TRT::Tensor 用法学习笔记

TensorRT查错笔记总结：

升级cuda后，tensorrt项目预测报错，

预测无结果解决方法：

tensorrt取多个结果：

TRT::Tensor 用法学习笔记

TRT::Tensor roi_align_inputs(TRT::DataType::Float);
roi_align_inputs.resize(infer_batch_size * MAX_IMAGE_BBOX * 6);
roi_align_inputs.to_cpu(false);

output_array_device.to_cpu(true);

to_cpu(true)，转cpu，同时拷贝一份。

测试执行时间：

	const int ntest =1;
	auto begin_timer = iLogger::timestamp_now_float();

	for (int i = 0; i < ntest; ++i)
		boxes_array = engine->commits(images);

	// wait all result
	boxes_array.back().get();

	float inference_average_time = (iLogger::timestamp_now_float() - begin_timer) /

了解本专栏