TensorRT
文章平均质量分 87
周陽讀書
周陽也想繼往聖之絕學呀~
展开
-
深度学习开发环境-TensorRT (环境配置看这个)
1.什么是TensorRTTensor是一个有助于在NVIDIA图形处理单元(GPU)上高性能推理c++库。它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作,专门致力于在GPU上快速有效地进行网络推理。如今现有的一些训练框架(例如TensorFlow)已经集成了TensorRT,因此可以将其用于加速框架中的推理。原创 2024-01-30 16:34:38 · 1168 阅读 · 0 评论 -
TensorRT从了入门到了解(官方文档)-学习笔记
TensorRT阅读研究原创 2024-04-17 14:09:55 · 984 阅读 · 0 评论 -
TensorRT从入门到了解(2)-学习笔记
tensorRT,nvidia发布的dnn推理引擎,是针对nvidia系列硬件进行优化加速,实现最大程度的利用GPU资源,提升推理性能tensorRT是业内nvidia系列产品部署落地时的最佳选择这里主要是围绕https://github.com/shouxieai/learning-cuda-trthttps://github.com/shouxieai/tensorRT_cpp提供的方案开展讨论,使得能够使用、部署起来。封装,关注业务逻辑,避免细节。原创 2024-04-16 17:30:00 · 366 阅读 · 0 评论 -
TensorRT从入门到了解-学习笔记
用于高效实现已训练好的深度学习模型的推理过程的SDK内含推理优化器和运行时环境使DL模型能以更高吞吐量和更低的延时运行有C++ Python的API,完全等价可以混用===待续。原创 2024-04-11 17:28:40 · 1069 阅读 · 0 评论