YOLOV5 TensorRT部署 BatchedNMS(转换engine模型)(上)

YoloV5使用tensorRT部署时，模型推理是放在cuda上操作，得到的结果需要在cpu上执行nms操作，但是当图像中的目标较多，或者检测出来的框较多时，nms耗时较长。
TensorRT 官方提供了batchedNMSPlugin的cuda操作，将yolov5的nms集成到tensorrt的engine中，不用在cpu上执行nms操作，并且减少了device to host的数据拷贝，提升整体的计算速度。
TensorRT batchedNMSPlugin

1.修改yolo detct层

    def forward(self, x):
        z = []  # inference output
        fo