结论-我的提升:3倍
我的模型分成了两部分分别进行转换,其中模块2包含两个较大子网络,完成了从torch到tensorRT的转化后,提升时间如下:
精度为FP32
模型 | 速度提升 |
---|
模型1 | 速度提升3倍 |
模型2 | 速度提升<3倍 |
之前在网上搜的时候看到有人通过tensorRT提升了6倍的速度,我这边只有3倍左右的提升,因为提升效果跟网络结构之类的都有关系,所以要有一定的心理预期,特别是如果网络比较复杂,里面涉及较多一个网络的输出再给另一个网络时,可能提升比较小,单纯一个网络比如resnet16,提升就会很大。