【tensorrt】——动态shape杂谈/pool/resize

tensorrt, dynamic shape

1. 前言

tensorrt 不知道在哪个版本开始就支持了dynamic shape，然后以前也没有试过，最近有这个想法，有一定时间就测试了一下。整个过程有助于对tensorrt模型转换，tensorrt引擎推理有更深一步的了解和认识。

2. 不支持的op

这里只是对不支持的op进行梳理。首先tensorrt推理的整体流程是：

• 用onnx2trt或trtexec或者其他工具进行模型转换，这里已onnx转trt为例。整个过程是首先解析onnx模型，再根据onnx的各个layer和layer的参数创建trt的layer，最后把所有的layer和相关参数构建engine
• trt engine序列化，会对所有layer的参数和整个engine的graph进行序列化
• engine反序列化，对前面序列化的模型进行反序列化，这里推测序列化和反序列化应该是用的protobuf
• 推理，最后就是用反序列化的engine进行推理

好像tensorrt最开始是静态图推理框架，后来随着迭代才支持dynamic shape的， 从上面的流程也可以看到，每个layer的参数都是需要固化的， 这就是dynamic shape的时候需要注意的，他并不是像pytorch一样的动态图框架，一些参数是可以在前向推理的时候才给定的。

1. ave_pool2d attention

这里是均值池化，一般的均值池化，dynamic shape是支持的，这里是将一个维度的尺寸池化为1，这样tensorrt dynamic就不支持了。因为不同的height图片得到的h是不一样的，所以这里的h不能是固定的，这就和tensorrt的设计思想冲突了。 所以池化为的操作不支持。

q = self.conv1(x)
 batchsize, c_middle, h, w = torch.tensor(q.shape[0]).item(),torch.tensor(q.shape[1]).item(),torch.tensor(q.shape[2]).item(),torch.tensor(q.shape[3]).item() #q.size()
q = F.avg_pool2d(q, [h, 1])

2. resize(size) 与 resize(scale)

第二个就是resize， resize对应到pytorch中就是interpolate，像这种resize是有两种方式的，1.给定输出的size；2. 给定输出的scale。而要tensorrt支持dynamic shape 需要使用scale的方式。如下所示：

scale = (h / feat32.shape[2], w / feat32.shape[3])
feat32_up = F.interpolate(feat32, scale_factor = scale, mode='nearest')

3. 输入尺寸尽量为8/16/32/64的倍数+conv2d(stride=2)

conv2d(stride=2）的功能是实现pool(kernel=2,2)的池化，但是如果尺寸是奇数的时候，如果和上面的interpolate一起使用的时候会有问题，

nn.Conv2d(highres_planes, planes * 4, kernel_size=3, stride=2, padding=1, bias=False),

3. 测试code

…