jetson tx2 上部署TensorRT模型推理

参考:https://arleyzhang.github.io/articles/7f4b25ce/

1. Jetson tx2 是什么?

Jetson tx2简而言之就是AI计算终端,采用 NVIDIA Pascal™ 构架,外形小巧、节能高效,非常适合机器人、无人机、智能摄像机和便携医疗设备等智能边缘终端设备。

2. TensorRT是什么

TensorRT是一个高性能的深度学习推理(Inference)优化器,可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架,将TensorRT和NVIDIA的GPU结合起来,能在几乎所有的框架中进行快速和高效的部署推理。
TensorRT 是一个C++库,从 TensorRT 3 开始提供C++ API和Python API,主要用来针对 NVIDIA GPU进行 高性能推理(Inference)加速。
在这里插入图片描述
在这里插入图片描述
由以上两张图可以很清楚的看出,训练(training)和 推理(inference)的区别:

训练(training): 包含了前向传播和后向传播两个阶段,针对的是训练集。训练时通过误差反向传播来不断修改网络权值(weights)。
推理(inference): 只包含前向传播一个阶段,针对的是除了训练集之外的新数据。可以是测试集,但不完全是,更多的是整个数据集之外的数据。其实就是针对新数据进行预测,预测时,速度是一个很重要的因素。

一般的深度学习项目,训练时为了加快速度,会使用多GPU分布式训练。但在部署推理时,为了降低成本,往往

  • 8
    点赞
  • 59
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
要在Jetson TX2部署YoloV5,可以按照以下步骤进行: 1. 安装JetPack:JetPack是NVIDIA Jetson平台的软件开发工具包,它包括Jetson操作系统、CUDA、cuDNN等必要软件。在Jetson TX2部署YoloV5前,需要首先安装JetPack。 2. 安装依赖库:在Jetson TX2上运行YoloV5需要安装一些依赖库,例如OpenCV、PyTorch等。可以使用以下命令安装: ``` sudo apt-get update sudo apt-get install -y python3-pip libjpeg-dev libtiff5-dev libpng-dev libavcodec-dev libavformat-dev libswscale-dev libv4l-dev libxvidcore-dev libx264-dev libgtk-3-dev libatlas-base-dev gfortran python3-dev python3-numpy python3-opencv python3-torch ``` 3. 下载YoloV5代码:可以使用以下命令将YoloV5代码克隆到Jetson TX2上: ``` git clone https://github.com/ultralytics/yolov5.git ``` 4. 下载模型权重文件:YoloV5模型权重文件可以在YoloV5官方网站上下载。将下载的权重文件存放在yolov5目录下的weights文件夹中。 5. 运行YoloV5:使用以下命令运行YoloV5: ``` cd yolov5 python3 detect.py --weights weights/yolov5s.pt --img 640 --conf 0.25 --source 0 ``` 其中,--weights参数指定了模型权重文件路径,--img参数指定了输入图像大小,--conf参数指定了置信度阈值,--source参数指定了输入源,可以是摄像头、视频文件或图像文件。 以上是在Jetson TX2部署YoloV5的基本步骤,具体操作可能会因环境配置、软件版本等原因而有所不同。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

菜菜菜菜菜菜菜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值