MixformerV2的onnx和tensorrt加速
地址:github地址
注意事项
- 转换成onnx模型之前,最好现简化算法的源代码,使其结构干净。因为在进行onnx转换后,可能在进行onnx→trt时算子不匹配,这时就需要去查看模型的源码,找出对应无法转换的算子,如果代码不精简,在对照算子这一步很费时间。需要对照的表可以参照onnx-tensorrt: https://github.com/onnx/onnx-tensorrt/blob/main/docs/operators.md。但是需要注意onnx-tensorrt的版本和当前使用的版本一致;
- unbind的替换无法使用类似slice的操作,如q,k,v=qkv[0],qkv[1],qkv[2],这会导致导出出错。使用split进行替换,split用于切片划分是支持转换的。split的使用方法可以参见pytorch官网;
- permute可以使用transpose进行替换;
- 在进行推理数据输入engine模型之前,一定要保证数据的形状对应的内存数据是连续的。因为reshape或者permute之后的数据形状可能改变了,但是内存的布局并不会变化。需使用tensor.contiguous()使得数据在内存的布局连续。如果是numpy的数据,则需要使用np.ascontiguousarray(im_arr)使得输入的数据连续,否则会出现推理出的结果错乱。