【YOLOV5 libtorch】C++加载torchscript模型 GPU 推理 -window10

已于 2022-06-18 18:34:52 修改
阅读量1.9k 收藏 13
点赞数
分类专栏： C++ opencv libtorch 文章标签： c++ GPU YOLOV5
于 2022-06-18 18:19:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cxyhjl/article/details/125350092
版权
opencv 同时被 3 个专栏收录
87 篇文章 10 订阅
订阅专栏
C++
46 篇文章 4 订阅
订阅专栏
libtorch
1 篇文章 0 订阅
订阅专栏 
#include <windows.h>
#include <opencv2/opencv.hpp>
#include <torch/script.h>
#include <algorithm>
#include <iostream>
#include <time.h>
#include <libloaderapi.h>


//#include <libloaderapi.h>

std::vector<torch::Tensor> non_max_suppression(torch::Tensor preds, float score_thresh = 0.5, float iou_thresh = 0.5)
{
	std::vector<torch::Tensor> output;
	for (size_t i = 0; i < preds.sizes()[0]; ++i)
	{
		torch::Tensor pred = preds.select(0, i);

		// Filter by scores
		torch::Tensor scores = pred.select(1, 4) * std::get<0>(torch::max(pred.slice(1, 5, pred.sizes()[1]), 1));
		pred = torch::index_select(pred, 0, torch::nonzero(scores > score_thresh).select(1, 0));
		if (pred.sizes()[0] == 0) continue;

		// (center_x, center_y, w, h) to (left, top, right, bottom)
		pred.select(1, 0) = pred.select(1, 0) - pred.select(1, 2) / 2;
		pred.select(1, 1) = pred.select(1, 1) - pred.select(1, 3) / 2;
		pred.select(1, 2) = pred.select(1, 0) + pred.select(1, 2);
		pred.select(1, 3) = pred.select(1, 1) + pred.select(1, 3);

		// Computing scores and classes
		std::tuple<torch::Tensor, torch::Tensor> max_tuple = torch::max(pred.slice(1, 5, pred.sizes()[1]), 1);
		pred.select(1, 4) = pred.select(1, 4) * std::get<0>(max_tuple);
		pred.select(1, 5) = std::get<1>(max_tuple);

		torch::Tensor  dets = pred.slice(1, 0, 6);

		torch::Tensor keep = torch::empty({ dets.sizes()[0] });
		torch::Tensor areas = (dets.select(1, 3) - dets.select(1, 1)) * (dets.select(1, 2) - dets.select(1, 0));
		std::tuple<torch::Tensor, torch::Tensor> indexes_tuple = torch::sort(dets.select(1, 4), 0, 1);
		torch::Tensor v = std::get<0>(indexes_tuple);
		torch::Tensor indexes = std::get<1>(indexes_tuple);
		int count = 0;
		while (indexes.sizes()[0] > 0)
		{
			keep[count] = (indexes[0].item().toInt());
			count += 1;

			// Computing overlaps
			torch::Tensor lefts = torch::empty(indexes.sizes()[0] - 1);
			torch::Tensor tops = torch::empty(indexes.sizes()[0] - 1);
			torch::Tensor rights = torch::empty(indexes.sizes()[0] - 1);
			torch::Tensor bottoms = torch::empty(indexes.sizes()[0] - 1);
			torch::Tensor widths = torch::empty(indexes.sizes()[0] - 1);
			torch::Tensor heights = torch::empty(indexes.sizes()[0] - 1);
			for (size_t i = 0; i < indexes.sizes()[0] - 1; ++i)
			{
				lefts[i] = std::max(dets[indexes[0]][0].item().toFloat(), dets[indexes[i + 1]][0].item().toFloat());
				tops[i] = std::max(dets[indexes[0]][1].item().toFloat(), dets[indexes[i + 1]][1].item().toFloat());
				rights[i] = std::min(dets[indexes[0]][2].item().toFloat(), dets[indexes[i + 1]][2].item().toFloat());
				bottoms[i] = std::min(dets[indexes[0]][3].item().toFloat(), dets[indexes[i + 1]][3].item().toFloat());
				widths[i] = std::max(float(0), rights[i].item().toFloat() - lefts[i].item().toFloat());
				heights[i] = std::max(float(0), bottoms[i].item().toFloat() - tops[i].item().toFloat());
			}
			torch::Tensor overlaps = widths * heights;

			// FIlter by IOUs
			torch::Tensor ious = overlaps / (areas.select(0, indexes[0].item().toInt()) + torch::index_select(areas, 0, indexes.slice(0, 1, indexes.sizes()[0])) - overlaps);
			indexes = torch::index_select(indexes, 0, torch::nonzero(ious <= iou_thresh).select(1, 0) + 1);
		}
		keep = keep.toType(torch::kInt64);
		output.push_back(torch::index_select(dets, 0, keep.slice(0, 0, count)));
	}
	return output;
}


int main()
{
    cout << "cuda是否可用：" << torch::cuda::is_available() << "\t显卡数量：" << torch::cuda::device_count() << endl;
	cout << "cudnn是否可用：" << torch::cuda::cudnn_is_available() << endl;
	// Loading  Module  D:\Software\vs2019+pcl+opencv\libtorch\lib
	torch::jit::script::Module module;
	//auto device = at::kCUDA;
	try
	{
		LoadLibraryA("ATen_cuda.dll");
		LoadLibraryA("c10_cuda.dll");
		LoadLibraryA("torch_cuda.dll");
		LoadLibraryA("torchvision.dll");
		module = torch::jit::load("weights/best.torchscript");

		module.to(torch::Device(torch::kCUDA));//
	}
	catch (const std::exception& e)
	{
		std::cout << e.what();
	}



	std::vector<std::string> classnames;
	std::ifstream f("weights/block.txt");
	std::string name = "";
	while (std::getline(f, name))
	{
		classnames.push_back(name);
	}

	cv::VideoCapture cap = cv::VideoCapture("1.mp4");
	//cap.set(cv::CAP_PROP_FRAME_WIDTH, 1920);
	//cap.set(cv::CAP_PROP_FRAME_HEIGHT, 1080);
	cv::Mat frame, img;
	while (cap.isOpened())
	{
		clock_t start = clock();
		cap.read(frame);
		if (frame.empty())
		{
			std::cout << "Read frame failed!" << std::endl;
			break;
		}

		// Preparing input tensor
		cv::resize(frame, img, cv::Size(416, 416));
		cv::cvtColor(img, img, cv::COLOR_BGR2RGB);
		//img.convertTo(img, CV_32FC3, 1.0f / 255.0f);

		//torch::Tensor imgTensor = torch::from_blob(img.data, { img.rows, img.cols,3 }, at::kByte);
		imgTensor = imgTensor.permute({ 0, 3, 1, 2 }).contiguous();
		//imgTensor = imgTensor.permute({ 2,0,1 });
		//imgTensor = imgTensor.toType(torch::kFloat);
		//imgTensor = imgTensor.div(255);
		//imgTensor = imgTensor.unsqueeze(0);

		torch::Tensor ten_img = torch::from_blob(img.data, { 1, img.rows, img.cols, 3 }, torch::kByte).to(torch::Device(torch::kCUDA));
		ten_img = ten_img.permute({ 0, 3, 1, 2 });
		ten_img = ten_img.toType(torch::kFloat);
		ten_img = ten_img.div(255);
		//int h = ten_img.sizes()[2], w = ten_img.sizes()[3];
		// preds: [?, 15120, 9]
		torch::Tensor preds;
		//try
		{//
			preds = module.forward({ ten_img }).toTuple()->elements()[0].toTensor();//libtorch cu113 应该与cuda toolkit 11.1 版本一致。

		}
		//catch (const std::exception& e)
		//{
		//	std::cout << e.what();
		//}
		std::vector<torch::Tensor> dets = non_max_suppression(preds.to(at::kCPU), 0.4, 0.5);//OK
		if (dets.size() > 0)
		{
			// Visualize result
			for (size_t i = 0; i < dets[0].sizes()[0]; ++i)
			{
				float left = dets[0][i][0].item().toFloat() * frame.cols / 416;
				float top = dets[0][i][1].item().toFloat() * frame.rows / 416;
				float right = dets[0][i][2].item().toFloat() * frame.cols / 416;
				float bottom = dets[0][i][3].item().toFloat() * frame.rows / 416;
				float score = dets[0][i][4].item().toFloat();
				int classID = dets[0][i][5].item().toInt();

				cv::rectangle(frame, cv::Rect(left, top, (right - left), (bottom - top)), cv::Scalar(0, 255, 0), 2);

				cv::putText(frame,
					classnames[classID] + ": " + cv::format("%.2f", score),
					cv::Point(left, top),
					cv::FONT_HERSHEY_SIMPLEX, (right - left) / 200, cv::Scalar(0, 255, 0), 2);
			}
		}
		cv::putText(frame, "FPS: " + std::to_string(int(1e7 / (clock() - start))),
			cv::Point(50, 50),
			cv::FONT_HERSHEY_SIMPLEX, 1, cv::Scalar(0, 255, 0), 2);
		cv::imshow("", frame);
		if (cv::waitKey(1) == 27) break;
	}
	return 0;
}
python  export.py --weights best.pt --img 416 --batch 1

export.py

def parse_opt():
    parser = argparse.ArgumentParser()
    parser.add_argument('--data', type=str, default=ROOT / 'data/block.yaml', help='dataset.yaml path')
    parser.add_argument('--weights', nargs='+', type=str, default=ROOT / 'best.pt', help='model.pt path(s)')
    parser.add_argument('--imgsz', '--img', '--img-size', nargs='+', type=int, default=[416, 416], help='image (h, w)')
    parser.add_argument('--batch-size', type=int, default=1, help='batch size')
    parser.add_argument('--device', default='0', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
    parser.add_argument('--half', action='store_true', help='FP16 half-precision export')
    parser.add_argument('--inplace', action='store_true', help='set YOLOv5 Detect() inplace=True')
    parser.add_argument('--train', action='store_true', help='model.train() mode')
    parser.add_argument('--keras', action='store_true', help='TF: use Keras')
    parser.add_argument('--optimize', action='store_true', help='TorchScript: optimize for mobile')
    parser.add_argument('--int8', action='store_true', help='CoreML/TF INT8 quantization')
    parser.add_argument('--dynamic', action='store_true', help='ONNX/TF: dynamic axes')
    parser.add_argument('--simplify', action='store_true', help='ONNX: simplify model')
    parser.add_argument('--opset', type=int, default=12, help='ONNX: opset version')
    parser.add_argument('--verbose', action='store_true', help='TensorRT: verbose log')
    parser.add_argument('--workspace', type=int, default=4, help='TensorRT: workspace size (GB)')
    parser.add_argument('--nms', action='store_true', help='TF: add NMS to model')
    parser.add_argument('--agnostic-nms', action='store_true', help='TF: add agnostic NMS to model')
    parser.add_argument('--topk-per-class', type=int, default=100, help='TF.js NMS: topk per class to keep')
    parser.add_argument('--topk-all', type=int, default=100, help='TF.js NMS: topk for all classes to keep')
    parser.add_argument('--iou-thres', type=float, default=0.45, help='TF.js NMS: IoU threshold')
    parser.add_argument('--conf-thres', type=float, default=0.25, help='TF.js NMS: confidence threshold')
    parser.add_argument('--include',
                        nargs='+',
                        default=['torchscript', 'onnx'],
                        help='torchscript, onnx, openvino, engine, coreml, saved_model, pb, tflite, edgetpu, tfjs')
    opt = parser.parse_args()
    print_args(vars(opt))
    return opt

pt模型导出 onnx 

D:\test\Train\yolov5 [master ↓30 +10 ~4 -0 !]> python  export.py --weights best.pt --img 416 --batch 16
export: data=D:\test\Train\yolov5\data\coco128.yaml, weights=['best.pt'], imgsz=[416], batch_size=16, device=cpu, half=False, inplace=False,
 train=False, keras=False, optimize=False, int8=False, dynamic=False, simplify=False, opset=12, verbose=False, workspace=4, nms=False, agnos
tic_nms=False, topk_per_class=100, topk_all=100, iou_thres=0.45, conf_thres=0.25, include=['torchscript', 'onnx']
YOLOv5  v6.1-223-g1dcb774 Python-3.9.13 torch-1.9.0+cu111 CPU

Fusing layers...
YOLOv5s summary: 213 layers, 7012822 parameters, 0 gradients, 15.8 GFLOPs

PyTorch: starting from best.pt with output shape (16, 10647, 6) (13.7 MB)

TorchScript: starting export with torch 1.9.0+cu111...
TorchScript: export success, saved as best.torchscript (27.1 MB)

ONNX: starting export with onnx 1.10.2...
ONNX: export success, saved as best.onnx (26.9 MB)

Export complete (15.79s)
Results saved to D:\test\Train\yolov5
Detect:          python detect.py --weights best.onnx
PyTorch Hub:     model = torch.hub.load('ultralytics/yolov5', 'custom', 'best.onnx')
Validate:        python val.py --weights best.onnx
Visualize:       https://netron.app

 附录 libtorch下载


libtorch 1.10.0
release
# cpu
https://download.pytorch.org/libtorch/cpu/libtorch-win-shared-with-deps-1.10.0%2Bcpu.zip
# cuda
https://download.pytorch.org/libtorch/cu102/libtorch-win-shared-with-deps-1.10.0%2Bcu102.zip
https://download.pytorch.org/libtorch/cu113/libtorch-win-shared-with-deps-1.10.0%2Bcu113.zip
 
debug
# cpu
https://download.pytorch.org/libtorch/cpu/libtorch-win-shared-with-deps-debug-1.10.0%2Bcpu.zip
# cuda
https://download.pytorch.org/libtorch/cu102/libtorch-win-shared-with-deps-debug-1.10.0%2Bcu102.zip
https://download.pytorch.org/libtorch/cu113/libtorch-win-shared-with-deps-debug-1.10.0%2Bcu113.zip




libtorch 1.9.1
release
# cpu
https://download.pytorch.org/libtorch/cpu/libtorch-win-shared-with-deps-1.9.1%2Bcpu.zip
# cuda
https://download.pytorch.org/libtorch/cu102/libtorch-win-shared-with-deps-1.9.1%2Bcu102.zip
https://download.pytorch.org/libtorch/cu111/libtorch-win-shared-with-deps-1.9.1%2Bcu111.zip

debug
# cpu
https://download.pytorch.org/libtorch/cpu/libtorch-win-shared-with-deps-debug-1.9.1%2Bcpu.zip
# cuda
https://download.pytorch.org/libtorch/cu102/libtorch-win-shared-with-deps-debug-1.9.1%2Bcu102.zip
https://download.pytorch.org/libtorch/cu111/libtorch-win-shared-with-deps-debug-1.9.1%2Bcu111.zip





libtorch 1.8.2 (LTS)
release
# cpu
https://download.pytorch.org/libtorch/lts/1.8/cpu/libtorch-win-shared-with-deps-1.8.2%2Bcpu.zip
# cuda
https://download.pytorch.org/libtorch/lts/1.8/cu102/libtorch-win-shared-with-deps-1.8.2%2Bcu102.zip
https://download.pytorch.org/libtorch/lts/1.8/cu111/libtorch-win-shared-with-deps-1.8.2%2Bcu111.zip

debug
# cpu
https://download.pytorch.org/libtorch/lts/1.8/cpu/libtorch-win-shared-with-deps-debug-1.8.2%2Bcpu.zip
# cuda
https://download.pytorch.org/libtorch/lts/1.8/cu102/libtorch-win-shared-with-deps-debug-1.8.2%2Bcu102.zip
https://download.pytorch.org/libtorch/lts/1.8/cu111/libtorch-win-shared-with-deps-debug-1.8.2%2Bcu111.zip

trian.py opt

def parse_opt(known=False):
    parser = argparse.ArgumentParser()
    parser.add_argument('--weights', type=str, default=ROOT / 'yolov5s.pt', help='initial weights path')
    parser.add_argument('--cfg', type=str, default='models/yolov5s.yaml', help='model.yaml path')
    parser.add_argument('--data', type=str, default=ROOT / './data/block.yaml', help='dataset.yaml path')
    parser.add_argument('--hyp', type=str, default=ROOT / 'data/hyps/hyp.scratch-low.yaml', help='hyperparameters path')
    parser.add_argument('--epochs', type=int, default=300)
    parser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs, -1 for autobatch')#16
    parser.add_argument('--imgsz', '--img', '--img-size', type=int, default=416, help='train, val image size (pixels)')#640
    parser.add_argument('--rect', action='store_true', help='rectangular training')
    parser.add_argument('--resume', nargs='?', const=True, default=False, help='resume most recent training')
    parser.add_argument('--nosave', action='store_true', help='only save final checkpoint')
    parser.add_argument('--noval', action='store_true', help='only validate final epoch')
    parser.add_argument('--noautoanchor', action='store_true', help='disable AutoAnchor')
    parser.add_argument('--noplots', action='store_true', help='save no plot files')
    parser.add_argument('--evolve', type=int, nargs='?', const=300, help='evolve hyperparameters for x generations')
    parser.add_argument('--bucket', type=str, default='', help='gsutil bucket')
    parser.add_argument('--cache', type=str, nargs='?', const='ram', help='--cache images in "ram" (default) or "disk"')
    parser.add_argument('--image-weights', action='store_true', help='use weighted image selection for training')
    parser.add_argument('--device', default='0', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
    parser.add_argument('--multi-scale', action='store_true', help='vary img-size +/- 50%%')
    parser.add_argument('--single-cls', action='store_true', help='train multi-class data as single-class')
    parser.add_argument('--optimizer', type=str, choices=['SGD', 'Adam', 'AdamW'], default='SGD', help='optimizer')
    parser.add_argument('--sync-bn', action='store_true', help='use SyncBatchNorm, only available in DDP mode')
    parser.add_argument('--workers', type=int, default=5, help='max dataloader workers (per RANK in DDP mode)')#8 error   __init__() missing 1 required positional argument: 'dtype'
    parser.add_argument('--project', default=ROOT / 'runs/train', help='save to project/name')
    parser.add_argument('--name', default='exp', help='save to project/name')
    parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment')
    parser.add_argument('--quad', action='store_true', help='quad dataloader')
    parser.add_argument('--cos-lr', action='store_true', help='cosine LR scheduler')
    parser.add_argument('--label-smoothing', type=float, default=0.0, help='Label smoothing epsilon')
    parser.add_argument('--patience', type=int, default=100, help='EarlyStopping patience (epochs without improvement)')
    parser.add_argument('--freeze', nargs='+', type=int, default=[0], help='Freeze layers: backbone=10, first3=0 1 2')
    parser.add_argument('--save-period', type=int, default=-1, help='Save checkpoint every x epochs (disabled if < 1)')
    parser.add_argument('--local_rank', type=int, default=-1, help='DDP parameter, do not modify')

    # Weights & Biases arguments
    parser.add_argument('--entity', default=None, help='W&B: Entity')
    parser.add_argument('--upload_dataset', nargs='?', const=True, default=False, help='W&B: Upload data, "val" option')
    parser.add_argument('--bbox_interval', type=int, default=-1, help='W&B: Set bounding-box image logging interval')
    parser.add_argument('--artifact_alias', type=str, default='latest', help='W&B: Version of dataset artifact to use')

    opt = parser.parse_known_args()[0] if known else parser.parse_args()
    return opt

十年一梦实验室
关注
  • 0
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cuda容易缺少的dll文件.rar
04-14
cuda容易缺少的dll文件.rar
libtorch（pytorch c++）教程（七）
浩瀚之水的专栏
05-12 1158
阅读本文需要有基础的pytorch编程经验，目标检测框架相关知识，不用很深入，大致了解概念即可。 本章简要介绍如何如何用C++实现一个目标检测器模型，该模型具有训练和预测的功能。本文的分割模型架构使用yolov4-tiny结构，代码结构参考了bubbliiiing yolov4-tiny，本文分享的c++模型几乎完美复现了pytorch的版本，且具有速度优势，30-40%的速度提升。 模型简介 简单介绍一下yolov4-tiny模型。yolov4-tiny模型是YOLO(you only look o
用 C++ 加载 TorchScript 模型（libtorch官方demo）
weixin_50923445的博客
01-04 1045
Tracing这种方法操作比较简单，只需要给模型一组输入，走一遍推理网络，然后由torch.jit.trace记录一下路径上的信息并保存即可。缺点是如果模型中存在控制流比如if-else语句，一组输入只能遍历一个分支，这种情况下就没办法完整的把模型信息记录下来。直接在Torch脚本中编写模型并相应地注释模型，通过编译模块，将其转换为。forward方法会被默认编译，forward中被调用的方法也会按照被调用的顺序被编译如果想要编译一个forward以外且未被forward调用的方法，可以添加；
在C++中加载TorchScript模型的方法
08-25
主要介绍了在C++中加载TorchScript模型的方法，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
基于C++ libtorch部署YOLOv5（源码+图片+说明文档）.rar
04-15
1、资源内容：基于C++ libtorch部署YOLOv5（源码+图片+说明文档）.rar 2、适用人群：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业或毕业设计，作为“参考资料”使用。 3、更多仿真源码和数据集下载列表（自行寻找自己需要的）：https://blog.csdn.net/m0_62143653?type=download 4、免责声明：本资源作为“参考资料”而不是“定制需求”不一定能够满足所有人的需求，需要有一定的基础能够看懂代码，能够自行调试，能够自行添加功能修改代码。由于作者大厂工作较忙，不提供答疑服务，如不存在资源缺失问题概不负责，谢谢理解。
解决 from torch._C import *ImportError: DLL load failed: 找不到指定的程序。
热门推荐
AI吃大瓜的博客
09-03 1万+
from torch._C import * ImportError: DLL load failed: 找不到指定的程序。 Python3.6.0有问题，升级Python版本 conda install python=3.6.2
Windows编译mmcv-full报OSError: [WinError 126]
u012423553的博客
07-20 739
根据WINDOWS 下 MMCV | MMCV-full 的安装安装mmcv-full的过程中 在进行以下这一步时 python setup.py build_ext 报OSError：[WinError 126] 但实际上torch_cuda_cpp.dll路径是正确的 而后尝试用cmd import torch 也出现了该错误，也是找不到torch_cuda_cpp.dll这个文件： 在尝试修改__init__文件、安装vc_redist.x64.exe等操作后问题还是没有解决。 后
关于win10环境下在使用torch调用cuda（）失败的原因
wang959512421的博客
07-26 4701
看了无数篇博客都是牛头不对马嘴，忙活了半天才搞清楚 如果大家在用torch的过程中看见这样的错误。。。。淡定，不是你的问题，也不是代码问题。。。是破win10的原因 只需要在代码前面加上 torch.cuda.current_device() torch.cuda._initialized = True 就可以正常训练了。。。心累啊 ...
关于cuda和pytorch不兼容问题
llyandyyl的博客
04-02 3339
之前是按照网上教程安装的Cuda和pytorch，使用了一段时间之后，在一项任务中安装fastai时，出现了两者版本不兼容问题，无法运行。出现如上问题，整了半天才发现是cuda和pytorch不兼容的问题。查了许多方法，也都进行了尝试，最终还是选择了卸载重装。
yolov5推理（libtorch、onnxruntime、opencv、openvino、tensorrt）
taifyang的博客
07-23 823
onnxruntime推理 opencv推理 openvino推理 tensorrt推理 各种格式的模型权重下载链接：yolov5n模型权重 更完整的工程见我的github：https://github.com/taifyang/yolov5-inference
yolov5.zip c++推理yolov5 onnx模型
01-02
yolov5 pytorch模型转onnx并用python ,c++ ，java进行推理
libtorch-yolov5:yolov5的LibTorch推理实现
04-23
TorchScript模型导出 请在此处参考官方文档： : 强制更新：开发人员需要修改原始以下代码 # line 29 model.model[-1].export = False 添加GPU支持：请注意， 当前的导出脚本默认情况下使用CPU ，需要对“ export....
YOLOv5-LibTorch:通过LibTorch C ++ API部署YOLOv5进行实时对象检测
05-08
YOLOv5 LibTorch 通过LibTorch C ++ API部署YOLOv5进行实时对象检测 环境 Ubuntu 18.04 OpenCV 3.2.0 LibTorch 1.6.0 CMake 3.10.2 入门 安装OpenCV。 sudo apt-get install libopencv-dev 安装LibTorch。 ...
LibTorch实战三：C++版本YOLOV5.4的部署
整理ing
11-01 764
（咱们是libtorch debug版本，还能跳到这一行，要是release，你都不知道错在哪里，所以常备debug版本，很有必要）由于yolov5代码，作者还在更新(写这篇博客的时候，最新是5.4，没错这是几年前写的)，模型结构可能会有改变，所以咱们使用的libtorch必须满足其要求，最好是一致。opencv版本其实随意，opencv3++就行。
YOLO等目标检测模型的非极大值抑制NMS和评价指标(Acc, Precision, Recall, AP, mAP, RoI)、YOLOv5中[email protected]与[email protected]:0.95的含义
悠悠小船长的博客
04-02 4098
YOLO等目标检测模型的非极大值抑制NMS和评价指标(Acc, Precision, Recall, AP, mAP, RoI)、YOLOv5中[email protected]与[email protected]:0.95的含义
C++中STL vector总结
u011486738的博客
09-01 1143
本文主要从vector的基础用法、vector作为函数返回值、vector作为函数参数三个方面进行介绍，有任何不当之处，欢迎指教。 一、vector基础用法 vector是C++标准模板库中的部分内容，它是一个多功能的，能够操作多种数据结构和算法的模板类和函数库。vector之所以被认为是一个容器，是因为它能够像容器一样存放各种类型的对象，简单地说，vector是一个能够存放任意类型的动态数组...
实现YOLOv5封装成函数以供其他程序进行调用
MMMMMMNONG的博客
09-19 899
将YOLOv5封装成一个函数，只用两行代码实现调用。可实现在树莓派/NVIDIA Jetson进行迅速部署。
yolov5 + 训练模型 + 导出torchscript模型 + C++调用torchscript
m0_65028022的博客
11-28 3146
cuDNN下载好后解压，将其中的三个文件夹复制到安装CUDA的文件夹下，覆盖掉其中的内容，然后在环境变量中添加路径即可（如果存在多个版本，则将需要使用的版本移动到前面去即可，如下），如何进入环境变量，后面的【第四章——下载YOLOv5所需要的配套库】有详细步骤。修改detect.py里面的weights（权重）的路径，修改为自己下载的预训练权重文件的路径（也可以用记事本打开修改），这里也可以不修改，在后面cmd运行时直接输入对应命令即可，但如果是用pycharm等应用运行，则需要进行修改）。
C语言.动态内存管理
最新发布
Joseit的博客
05-16 587
栈区（stack）：在执行函数时，函数内局部变量的存储单元都可以在栈上创建，函数执行结束时这些存储单元自动被释放。栈内存分配运算内置于处理器的指令集中，效率很高，但是分配的内存容量有限。栈区主要存放运行函数而分配的局部变量、函数参数、返回数据、返回地址等。堆区（heap）：一般由程序员分配释放， 若程序员不释放，程序结束时可能由OS(操作系统)回收。分配方式类似于链表。数据段（静态区）：（static）存放全局变量、静态数据。程序结束后由系统释放。
以yolov5提供一个c++端用libtorch和Torch TensorRT加速推理torchscript模型的案例并注释
03-31
注：本文将以 YOLOv5 为例，介绍如何使用 LibTorch 和 Torch TensorRT 对 TorchScript 模型进行加速推理。本文默认读者已经熟悉 YOLOv5 和 TorchScript 的相关知识。 1. 准备工作 在开始之前，需要先安装以下工具： - PyTorch - LibTorch - Torch TensorRT 其中，PyTorch 是用于训练 YOLOv5 模型的框架，而 LibTorch 和 Torch TensorRT 则是用于加速推理的工具。在安装完这些工具之后，需要将训练好的 YOLOv5 模型转换为 TorchScript 格式。 2. 将 YOLOv5 模型转换为 TorchScript 格式 将训练好的 YOLOv5 模型转换为 TorchScript 格式的方法有很多种，这里给出一种比较简单的方法： ```python import torch from models.experimental import attempt_load from utils.general import set_logging from torch.utils.mobile_optimizer import optimize_for_mobile def export_torchscript(weights, img_size, device='cpu'): set_logging() model = attempt_load(weights, map_location=device) img = torch.zeros((1, 3, img_size, img_size), device=device) model.eval() traced_script_module = torch.jit.trace(model, img) traced_script_module_optimized = optimize_for_mobile(traced_script_module) traced_script_module_optimized.save("yolov5s.torchscript.pt") export_torchscript(weights='yolov5s.pt', img_size=640, device='cpu') ``` 在这个函数中，我们首先加载训练好的 YOLOv5 模型，然后使用 torch.jit.trace 将模型转换为 TorchScript 格式。接着，我们使用 torch.utils.mobile_optimizer.optimize_for_mobile 对模型进行优化，最后将优化后的模型保存到磁盘上。 3. 加载 TorchScript 模型 在 C++ 中加载 TorchScript 模型需要使用 LibTorch，下面是加载模型的代码： ```cpp #include <torch/script.h> // One-stop header. int main(int argc, const char* argv[]) { // Load the model. torch::jit::script::Module module; try { // Deserialize the ScriptModule from a file using torch::jit::load(). module = torch::jit::load("yolov5s.torchscript.pt"); } catch (const c10::Error& e) { std::cerr << "error loading the model\n"; return -1; } return 0; } ``` 在这个代码中，我们使用 torch::jit::load 函数加载 TorchScript 模型。如果加载失败，将输出错误信息并返回 -1，否则返回 0。 4. 使用 Torch TensorRT 进行推理 为了加速 TorchScript 模型的推理，我们可以使用 Torch TensorRT。下面是使用 Torch TensorRT 进行推理的代码： ```cpp #include <torch/script.h> // One-stop header. #include <iostream> #include <memory> #include <vector> #include <chrono> #include <NvInferRuntime.h> int main(int argc, const char* argv[]) { // Load the model. torch::jit::script::Module module; try { // Deserialize the ScriptModule from a file using torch::jit::load(). module = torch::jit::load("yolov5s.torchscript.pt"); } catch (const c10::Error& e) { std::cerr << "error loading the model\n"; return -1; } // Create a TensorRT engine from the TorchScript module. nvinfer1::IRuntime* runtime = nvinfer1::createInferRuntime(gLogger); nvinfer1::ICudaEngine* engine = createCudaEngine(module, runtime, batchSize, kINPUT_BLOB_NAME, kOUTPUT_BLOB_NAME, maxWorkspaceSize); if (!engine) { std::cerr << "error creating the engine\n"; return -1; } // Create a TensorRT execution context. nvinfer1::IExecutionContext* context = engine->createExecutionContext(); if (!context) { std::cerr << "error creating the context\n"; return -1; } // Prepare inputs and outputs. std::vector<float> inputData(batchSize * inputSize * inputSize * 3); std::vector<float> outputData(batchSize * outputSize * outputSize * (5 + numClasses)); void* buffers[] = {inputData.data(), outputData.data()}; // Run inference. auto start = std::chrono::high_resolution_clock::now(); context->execute(batchSize, buffers); auto end = std::chrono::high_resolution_clock::now(); std::chrono::duration<double, std::milli> elapsed = end - start; std::cout << "elapsed time: " << elapsed.count() << " ms\n"; // Release resources. context->destroy(); engine->destroy(); runtime->destroy(); return 0; } ``` 在这个代码中，我们首先使用 createCudaEngine 函数将 TorchScript 模型转换为 TensorRT engine。接着，我们创建 TensorRT execution context，准备输入和输出数据，并调用 context->execute 进行推理。最后，我们释放资源。 5. 总结 本文介绍了如何使用 LibTorch 和 Torch TensorRT 对 TorchScript 模型进行加速推理。在实际应用中，我们可以根据自己的需求对代码进行修改和优化，以达到更好的性能和效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值