![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
TensorRT
文章平均质量分 91
肆十二
那些没有把我击倒的,只会让我更强大。
展开
-
Nvidia TensorRT系列01-TensorRT的功能1
在可用的配置选项中,您可以控制TensorRT降低计算精度的能力,控制内存和运行执行速度之间的权衡,并限制CUDA®内核的选择。要在模型级别控制精度,可以使用BuilderFlag选项(C++,Python)向TensorRT指示,在搜索最快速度时,它可以选择较低精度的实现(并且由于较低精度通常更快,如果允许,它通常会这样做)。因此,在构建阶段完成之前,您不得释放这些数组的内存。为了进行更精细的控制,如果某层必须以更高精度运行,因为网络的部分区域对数字敏感或需要高动态范围,则可以为该层指定算术精度。原创 2024-06-16 09:01:25 · 673 阅读 · 0 评论 -
Nvidia TensorRT系列01-基本介绍
鉴于Nvidia的在深度学习上已经非常完善,即使有其他的芯片或者是框架,基本思路也都是要借鉴Nvidia的开发的,好比虽然特斯拉网上很多骂声,但是大多数国内的车企还是在发布会上狠狠对比,又好比手机发布会狠狠对比Apple,好的东西总是值得大家去借鉴的,对于小公司而言,使用其他公司的生态框架硬件成本看起来很低,但是由于生态和社区一般,实际上运维起来的成本又很高。所以,希望通过更新这个系列来帮助自己对Nvidia的TensorRT进行一些基础的学习。原创 2024-06-15 11:23:06 · 786 阅读 · 0 评论