源码
-
MobileVit: https://github.com/wilile26811249/MobileViT
复现
-
int8量化后 layernorm被拆分成ReduceMean +Sub等
-
fp32 trt结构
- int8结构:
- nsight system
解析
-
通过添加plugin融合
-
添加后可能会影响其它层融合,推理速度反而降低
-
手动融合多个
参考
-
TRT定位
https://github.com/chenlamei/MobileVit_TensorRT/blob/master/test_trt.py
终于把TensorRT的engine模型的结构图画出来了! - 知乎
- 复现
MobileVit_TensorRT/README.md at master · chenlamei/MobileVit_TensorRT · GitHub