玩转Jetson Nano（四）跑通jetson-inference

最新推荐文章于 2024-08-08 07:21:31 发布
最新推荐文章于 2024-08-08 07:21:31 发布
阅读量1.9w 收藏 78
点赞数 21
分类专栏： Jetson Nano 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beckhans/article/details/89243897
版权

Jetson Nano的官方文档中像我们推荐了二个例子，其中一个使用Tensor RT做物品是别的例子。具体的可以参考英伟达jetson-inference例子。

（一）准备工作：

大家知道Jetson Nano系统最低配置是需要16G的SD卡，而跑通这个例子需要的模型就大概1G以上，所以这个例子的大部分并没有放到SD卡上（SD卡上只有运行这个模型所需要的TensorRT）。悲剧的是存放这些模型的服务器被墙了，你懂的。所以第一步是怎么科学上网。不能科学上网的，请大家看评论区，有个好同志把需要下载的东西分离出来，放到了网盘上。

我这里才用的是shadowsocks。首先你要安装shadowsocks

sudo pip3 install -U git+https://github.com/shadowsocks/shadowsocks.git@master # 需要更新到3.0版本

安装后要配置科学上网服务器，大家自己找吧，我就不做广告了。你需要用你自己的信息去替代上面的server_ip，port，mypassword，以及method。

vim /etc/shadowsocks.json

{
    "server":"server_ip",
    "server_port":port,
    "local_address":"127.0.0.1",
    "local_port":1080,
    "password":"mypassword",
    "timeout":300,
    "method":"aes-256-cfb"
}

然后启动服务

sudo ssserver -c  /etc/shadowsocks.json -d start

服务正常启动的话会有如下提示

INFO: loading config from /etc/shadowsocks.json
2019-04-12 16:46:17 INFO     loading libcrypto from libcrypto.so.1.1
started

同时你还要启动一个客户端

sudo sslocal -c /etc/shadowsocks.json

如果客户端成功启动的话会有如下提示

INFO: loading config from /etc/shadowsocks.json
2019-04-12 16:49:02 INFO     loading libcrypto from libcrypto.so.1.1
2019-04-12 16:49:02 INFO     starting local at 127.0.0.1:1080

最后还需要配制一下终端上网走SS

sudo apt-get install privoxy
sudo vim /etc/privoxy/config 
# 在文档中搜索“listen-address”（即监听地址），找到如下一行：listen-address localhost:8118 确保它没有被注释（如果这一行有#号，就手动删除）。再查找“forward-socks5t”，找到如下一行：forward-socks5t / 127.0.0.1:1080 . 同样确保它没有被注释。如果没有这一行，就手动添加（注意！句尾那个点 . 是要写的！）。然后保存退出，再执行以下命令启动privoxy：
sudo privoxy --user privoxy /etc/privoxy/config

# 先进入编辑模式
sudo vim /etc/profile

# 在末尾添加以下三行：
export http_proxy=http://127.0.0.1:8118
export https_proxy=http://127.0.0.1:8118
export ftp_proxy=http://127.0.0.1:8118

source /etc/profile

想测试一下科学上网是否成功，可以

wget www.google.com

（二）下载和编译

剩下的过程就比较简单了。首先如果您没有安装git和cmake，先安装它们

sudo apt-get install git cmake

接着从git上克隆jetson-inference repo

git clone https://github.com/dusty-nv/jetson-inference
cd jetson-inference
git submodule update --init

配置cmake，如果您科学上网没问题的话，会自动下载许多模型。

mkdir build    #创建build文件夹
cd build       #进入build
cmake ../      #运行cmake，它会自动执行上一级目录下面的 CMakePrebuild.sh

cmake成功后，就需要编译了

cd jetson-inference/build			
make
sudo make install

如果编译成功，会生成下列文件夹结构

|-build
   \aarch64		    (64-bit)
      \bin			where the sample binaries are built to
      \include		where the headers reside
      \lib			where the libraries are build to
   \armhf           (32-bit)
      \bin			where the sample binaries are built to
      \include		where the headers reside
      \lib			where the libraries are build to

（三）测试

进入测试文件夹，运行

cd jetson-inference/build/aarch64/bin
./imagenet-console orange_0.jpg output_0.jpg
imagenet-console
  args (3):  0 [./imagenet-console]  1 [orange_0.jpg]  2 [output_0.jpg]  


imageNet -- loading classification network model from:
         -- prototxt     networks/googlenet.prototxt
         -- model        networks/bvlc_googlenet.caffemodel
         -- class_labels networks/ilsvrc12_synset_words.txt
         -- input_blob   'data'
         -- output_blob  'prob'
         -- batch_size   2

[TRT]  TensorRT version 5.0.6
[TRT]  detected model format - caffe  (extension '.caffemodel')
[TRT]  desired precision specified for GPU: FASTEST
[TRT]  requested fasted precision for device GPU without providing valid calibrator, disabling INT8
[TRT]  native precisions detected for GPU:  FP32, FP16
[TRT]  selecting fastest native precision for GPU:  FP16
[TRT]  attempting to open engine cache file networks/bvlc_googlenet.caffemodel.2.1.GPU.FP16.engine
[TRT]  cache file not found, profiling network model on device GPU
[TRT]  device GPU, loading networks/googlenet.prototxt networks/bvlc_googlenet.caffemodel
[TRT]  retrieved Output tensor "prob":  1000x1x1
[TRT]  retrieved Input tensor "data":  3x224x224
[TRT]  device GPU, configuring CUDA engine
[TRT]  device GPU, building FP16:  ON
[TRT]  device GPU, building INT8:  OFF
[TRT]  device GPU, building CUDA engine (this may take a few minutes the first time a network is loaded)
[TRT]  device GPU, completed building CUDA engine
[TRT]  network profiling complete, writing engine cache to networks/bvlc_googlenet.caffemodel.2.1.GPU.FP16.engine
[TRT]  device GPU, completed writing engine cache to networks/bvlc_googlenet.caffemodel.2.1.GPU.FP16.engine
[TRT]  device GPU, networks/bvlc_googlenet.caffemodel loaded
[TRT]  device GPU, CUDA engine context initialized with 2 bindings
[TRT]  binding -- index   0
               -- name    'data'
               -- type    FP32
               -- in/out  INPUT
               -- # dims  3
               -- dim #0  3 (CHANNEL)
               -- dim #1  224 (SPATIAL)
               -- dim #2  224 (SPATIAL)
[TRT]  binding -- index   1
               -- name    'prob'
               -- type    FP32
               -- in/out  OUTPUT
               -- # dims  3
               -- dim #0  1000 (CHANNEL)
               -- dim #1  1 (SPATIAL)
               -- dim #2  1 (SPATIAL)
[TRT]  binding to input 0 data  binding index:  0
[TRT]  binding to input 0 data  dims (b=2 c=3 h=224 w=224) size=1204224
[cuda]  cudaAllocMapped 1204224 bytes, CPU 0x100e30000 GPU 0x100e30000
[TRT]  binding to output 0 prob  binding index:  1
[TRT]  binding to output 0 prob  dims (b=2 c=1000 h=1 w=1) size=8000
[cuda]  cudaAllocMapped 8000 bytes, CPU 0x100f60000 GPU 0x100f60000
device GPU, networks/bvlc_googlenet.caffemodel initialized.
[TRT]  networks/bvlc_googlenet.caffemodel loaded
imageNet -- loaded 1000 class info entries
networks/bvlc_googlenet.caffemodel initialized.
loaded image  orange_0.jpg  (1920 x 1920)  58982400 bytes
[cuda]  cudaAllocMapped 58982400 bytes, CPU 0x101060000 GPU 0x101060000
[TRT]  layer conv1/7x7_s2 + conv1/relu_7x7 input reformatter 0 - 1.971458 ms
[TRT]  layer conv1/7x7_s2 + conv1/relu_7x7 - 12.103073 ms
[TRT]  layer pool1/3x3_s2 - 2.291198 ms
[TRT]  layer pool1/norm1 - 0.626354 ms
[TRT]  layer conv2/3x3_reduce + conv2/relu_3x3_reduce - 1.402032 ms
[TRT]  layer conv2/3x3 + conv2/relu_3x3 - 22.193958 ms
[TRT]  layer conv2/norm2 - 1.714010 ms
[TRT]  layer pool2/3x3_s2 - 2.223438 ms
[TRT]  layer inception_3a/1x1 + inception_3a/relu_1x1 || inception_3a/3x3_reduce + inception_3a/relu_3x3_reduce || inception_3a/5x5_reduce + inception_3a/relu_5x5_reduce - 3.953125 ms
[TRT]  layer inception_3a/3x3 + inception_3a/relu_3x3 - 6.141875 ms
[TRT]  layer inception_3a/5x5 + inception_3a/relu_5x5 - 1.052396 ms
[TRT]  layer inception_3a/pool - 0.945416 ms
[TRT]  layer inception_3a/pool_proj + inception_3a/relu_pool_proj - 0.752500 ms
[TRT]  layer inception_3a/1x1 copy - 0.136875 ms
[TRT]  layer inception_3b/1x1 + inception_3b/relu_1x1 || inception_3b/3x3_reduce + inception_3b/relu_3x3_reduce || inception_3b/5x5_reduce + inception_3b/relu_5x5_reduce - 4.915782 ms
[TRT]  layer inception_3b/3x3 + inception_3b/relu_3x3 - 13.518437 ms
[TRT]  layer inception_3b/5x5 + inception_3b/relu_5x5 - 4.846615 ms
[TRT]  layer inception_3b/pool - 1.560260 ms
[TRT]  layer inception_3b/pool_proj + inception_3b/relu_pool_proj - 1.945625 ms
[TRT]  layer inception_3b/1x1 copy - 0.240729 ms
[TRT]  layer pool3/3x3_s2 - 1.658229 ms
[TRT]  layer inception_4a/1x1 + inception_4a/relu_1x1 || inception_4a/3x3_reduce + inception_4a/relu_3x3_reduce || inception_4a/5x5_reduce + inception_4a/relu_5x5_reduce - 3.698021 ms
[TRT]  layer inception_4a/3x3 + inception_4a/relu_3x3 - 3.677865 ms
[TRT]  layer inception_4a/5x5 + inception_4a/relu_5x5 - 0.617812 ms
[TRT]  layer inception_4a/pool - 0.589011 ms
[TRT]  layer inception_4a/pool_proj + inception_4a/relu_pool_proj - 0.638646 ms
[TRT]  layer inception_4a/1x1 copy - 0.093385 ms
[TRT]  layer inception_4b/1x1 + inception_4b/relu_1x1 || inception_4b/3x3_reduce + inception_4b/relu_3x3_reduce || inception_4b/5x5_reduce + inception_4b/relu_5x5_reduce - 3.953750 ms
[TRT]  layer inception_4b/3x3 + inception_4b/relu_3x3 - 4.252917 ms
[TRT]  layer inception_4b/5x5 + inception_4b/relu_5x5 - 0.875104 ms
[TRT]  layer inception_4b/pool - 0.792448 ms
[TRT]  layer inception_4b/pool_proj + inception_4b/relu_pool_proj - 0.751510 ms
[TRT]  layer inception_4b/1x1 copy - 0.097969 ms
[TRT]  layer inception_4c/1x1 + inception_4c/relu_1x1 || inception_4c/3x3_reduce + inception_4c/relu_3x3_reduce || inception_4c/5x5_reduce + inception_4c/relu_5x5_reduce - 2.025000 ms
[TRT]  layer inception_4c/3x3 + inception_4c/relu_3x3 - 1.415729 ms
[TRT]  layer inception_4c/5x5 + inception_4c/relu_5x5 - 0.267083 ms
[TRT]  layer inception_4c/pool - 0.187605 ms
[TRT]  layer inception_4c/pool_proj + inception_4c/relu_pool_proj - 0.331302 ms
[TRT]  layer inception_4c/1x1 copy - 0.039270 ms
[TRT]  layer inception_4d/1x1 + inception_4d/relu_1x1 || inception_4d/3x3_reduce + inception_4d/relu_3x3_reduce || inception_4d/5x5_reduce + inception_4d/relu_5x5_reduce - 0.823386 ms
[TRT]  layer inception_4d/3x3 + inception_4d/relu_3x3 - 0.725208 ms
[TRT]  layer inception_4d/5x5 + inception_4d/relu_5x5 - 0.217604 ms
[TRT]  layer inception_4d/pool - 0.160052 ms
[TRT]  layer inception_4d/pool_proj + inception_4d/relu_pool_proj - 0.150625 ms
[TRT]  layer inception_4d/1x1 copy - 0.016928 ms
[TRT]  layer inception_4e/1x1 + inception_4e/relu_1x1 || inception_4e/3x3_reduce + inception_4e/relu_3x3_reduce || inception_4e/5x5_reduce + inception_4e/relu_5x5_reduce - 1.174166 ms
[TRT]  layer inception_4e/3x3 + inception_4e/relu_3x3 - 1.516354 ms
[TRT]  layer inception_4e/5x5 + inception_4e/relu_5x5 - 0.346927 ms
[TRT]  layer inception_4e/pool - 0.164740 ms
[TRT]  layer inception_4e/pool_proj + inception_4e/relu_pool_proj - 0.236719 ms
[TRT]  layer inception_4e/1x1 copy - 0.026406 ms
[TRT]  layer pool4/3x3_s2 - 0.154375 ms
[TRT]  layer inception_5a/1x1 + inception_5a/relu_1x1 || inception_5a/3x3_reduce + inception_5a/relu_3x3_reduce || inception_5a/5x5_reduce + inception_5a/relu_5x5_reduce - 0.528906 ms
[TRT]  layer inception_5a/3x3 + inception_5a/relu_3x3 - 0.425313 ms
[TRT]  layer inception_5a/5x5 + inception_5a/relu_5x5 - 0.203437 ms
[TRT]  layer inception_5a/pool - 0.085677 ms
[TRT]  layer inception_5a/pool_proj + inception_5a/relu_pool_proj - 0.205105 ms
[TRT]  layer inception_5a/1x1 copy - 0.013020 ms
[TRT]  layer inception_5b/1x1 + inception_5b/relu_1x1 || inception_5b/3x3_reduce + inception_5b/relu_3x3_reduce || inception_5b/5x5_reduce + inception_5b/relu_5x5_reduce - 0.864740 ms
[TRT]  layer inception_5b/3x3 + inception_5b/relu_3x3 - 1.049219 ms
[TRT]  layer inception_5b/5x5 + inception_5b/relu_5x5 - 0.268385 ms
[TRT]  layer inception_5b/pool - 0.070677 ms
[TRT]  layer inception_5b/pool_proj + inception_5b/relu_pool_proj - 0.204063 ms
[TRT]  layer inception_5b/1x1 copy - 0.013646 ms
[TRT]  layer pool5/7x7_s1 - 0.056666 ms
[TRT]  layer loss3/classifier input reformatter 0 - 0.008594 ms
[TRT]  layer loss3/classifier - 0.285677 ms
[TRT]  layer prob input reformatter 0 - 0.012031 ms
[TRT]  layer prob - 0.023334 ms
[TRT]  layer network time - 120.529793 ms
class 0950 - 0.978909  (orange)
class 0951 - 0.020962  (lemon)
imagenet-console:  'orange_0.jpg' -> 97.89090% class #950 (orange)
loaded image  fontmapA.png  (256 x 512)  2097152 bytes
[cuda]  cudaAllocMapped 2097152 bytes, CPU 0x1048a0000 GPU 0x1048a0000
[cuda]  cudaAllocMapped 8192 bytes, CPU 0x100f62000 GPU 0x100f62000
imagenet-console:  attempting to save output image to 'output_0.jpg'
imagenet-console:  completed saving 'output_0.jpg'

 

贝克汉鸭
关注
专栏目录
jetson Nano安装及编译jetson-inference
LZL2020LZL的博客
02-14 587
git clone --recursive https://github.com/dusty-nv/jetson-inference github mkdir build cd build cmake .. make -j4 sudo make install sudo ldconfig vim download-models.sh
玩转Jetson Nano（四）：TensorRT图像识别
FriendshipTang的博客
09-03 1905
Jetson Nano、TensorRT、Jetson-Inference、Cmake、编译、测试、CSI摄像头实时图像识别、常见问题
Jetson nano 2G跑通Nvidia官方案例Jetson Inference
weixin_53090943的博客
05-23 785
最近在实验室拿到了一块Nvidia的开发板，Jetson Nano 2G。因为国内网络环境和Linux操作系统，作为小白想要跑通第一个官方示例程序其实并不简单，本文将详细记录跑通GitHub上的Jetson Interference的示例项目的各个步骤。
Jetson Inference 项目教程
最新发布
gitblog_01021的博客
08-08 939
Jetson Inference 项目教程 jetson-inferencejetson-inference: 提供了一个用于NVIDIA Jetson设备的深度学习推理和实时视觉DNN库，支持多种深度学习模型和应用。项目地址:https://gitcode.com/gh_mirrors/je/jetson-inference 项目介绍 Jetson Inference 是一个用于 NVIDIA...
Jetson-inference(Hello AI World)
tzwsg的博客
10-30 1152
Reference: 笔记（八）Jetson Nano 跑通 jetson-inference Jetson Nano目标检测手把手实战教程（pytorch训练、tensorrt推理，含完整代码和数据） Jetson Nano系列教程8：HelloAIWorld [Jetson Nano] Jetson-inference(Hello AI World) 爬坑指南 AI学习库的安装jetson-inference（国内详细教程） ...
jetson nano上使用jetson-inference进行简单的神经网络分类训练
wanlong_peng的博客
04-17 4559
jetson nano上使用jetson-inference进行机器学习和深度神经网络分类训练jetson nano开发板上进行一个简单的分类训练1、jetson-推理库的下载编译以及简单使用2、jetson nano上实现迁移学习训练（1）为jetson nano创建交换空间以转移训练（2）创建文件及标签（3）数据集的采集（4）开始进行迁移训练（5）导出训练成功的模型3、测试训练结果 jetson nano开发板上进行一个简单的分类训练 1、jetson-推理库的下载编译以及简单使用 此处请参考： Git
Jetson Nano | jetson-inference（识别、检测）
W1995S的博客
08-22 3044
https://blog.csdn.net/beckhans/category_8839715.html https://blog.csdn.net/baidu_26678247/article/details/109025873 问题解决方法： https://zhuanlan.zhihu.com/p/343537626 https://www.cnblogs.com/vcan123/p/13269218.html https://mp.weixin.qq.com/s?__biz=MjM5NTE3Nzk
jetson-inference入门
小豆包的博客
01-17 834
jetson 部署相关内容专栏内容，jetson nano 嵌入式部署。
JetsonNano之跑通Jetson-inference例程
Jackkii的博客
08-15 3601
一.使用网盘下载所需要的安装包 https://pan.baidu.com/s/16rFmIRMzvcrskiaPonnOtQ 提取码：rtr4 或者 https://pan.baidu.com/share/init?surl=oBcCdGR-8s3wZX9fU-0iDg 提取玛：utyh 将压缩包全部解压后，放入jetson-inference/data/networks目录下。...
英伟达SSD视觉算法，jetson.inference在jetson nano中部署
qq_18677445的博客
05-28 933
英伟达SSD视觉算法，jetson.inference在jetson nano中部署
jetson nano 安装 jetson-inference 记录
qq_50840738的博客
04-13 1280
解决 jetbot 小车克隆 jetson-inference AI 学习库速度慢问题 由于Jetson nano服务器均在国外，部分资源需要能够上外网才能可以获取，否则可能安装失败。另外需要安装一下库，由于根据官方教程安装出现克隆速度过慢而且很可能会失败；就算手动下载，本项目仓库中含有子库，也会出问题（亲测）。故本人做了些改进。全程操作如下： 首先打开终端运行如下代码，获取源码： sudo apt-get update sudo apt-get install git cmake libpython3-d
jetson-inference：Hello AI World指南，介绍如何使用TensorRT和NVIDIA Jetson部署深度学习推理网络和深度视觉原语
02-03
部署深度学习 欢迎使用我们的NVIDIA 推理和实时库指导手册。 此使用NVIDIA 将神经网络有效地部署到嵌入式Jetson平台上，通过图形优化，内核融合和FP16 / INT8精度提高了性能和能效。 视力原语，如图像识别， 物体检测，并用于语义分割，继承从共享对象。 提供了一些示例，用于从实时摄影机供稿进行流式处理并处理图像。 有关C ++和Python库的详细参考文档，请参见部分。 遵循教程，在Jetson上运行推理和转移学习，包括收集自己的数据集和训练自己的模型。 它涵盖了图像分类，对象检测和分割。 目录 >回购中现在支持Jetson 和JetPack 4.4.1。 >试试新的对象检测教程！ >有关最新更新和新功能，请参阅。 你好AI世界 Hello AI World可以在Jetson上完全运行，包括使用TensorRT进行推理和使用PyTorch进行学习。 Hello AI World的推理部分-包括为Python或C ++编写自己的图像分类和对象检测应用程序代码，以及实时相机演示-可以在您的Jetson上运行大约两小时或更短的时间，而迁移学习最好离开过夜。 系统设置
Nvidia jetson-inference Hello AI World Networks Packages — facenet-120.zip
05-18
Nvidia jetson-inference Hello AI World Networks Packages
Nvidia jetson-inference Hello AI World Networks Packages — ResNet-101.zip
05-18
Nvidia jetson-inference Hello AI World Networks Packages
Nvidia jetson-inference Hello AI World Networks Packages — ResNet-50.zip
05-18
Nvidia jetson-inference Hello AI World Networks Packages
jetson-inference完整版的项目代码 避免被墙导致编译错误
02-22
https://github.com/dusty-nv/jetson-inference 项目原版使用了submodules,但按照官方教程下载很容易因为被墙导致编译失败 此文件是完整版的项目代码,按照官方教程下载模型文件和安装pytorch后可直接编译运行
jetson TX2 NX 使用 jetson inference 推理自己的Pytorch模型
zhaoguochuan的博客
01-06 2921
本文将使用将在个人PC上使用pytorch训练一个分类模型，并将模型部署到Jetson TX2 NX，实现实时推理。
jetson-inference安装与配置
似水流年|zs blog
01-22 2719
并非教程，仅做学习记录只用，也可参考 前日给jetson nano安装jetson-inference时， jetbot突然OLED屏幕黑了，重启之后不曾想竟不管用… 于是寻方觅法，无解… 遂重装Ubuntu系统，重装两次，问题得以解决 来回耽搁两日，今日终于完成，在这里将易忘的过程记录。 当需要从GitHub上clone项目时，可先将项目导入到gitee上，再进行clone，即可满速下载 在执行 “git submodule update --init” 时，命令行卡在 “正克隆到…” 很长时间，
jetson nano(jetpack4.6)跑通jetson-inference(Hello AI World)
布响哒公的博客
12-21 2387
本文章作为笔记所用 环境： jetson nano 4GB,jetpack4.6,L4T 32.6.1,TensorRT 8.0.1,cuDNN 8.2.1,CUDA 10.2,OpenCV 4.1.1 按照官方文档的步骤安装： 先下载jetson-inference $ sudo apt-get update $ sudo apt-get upgrade ---> 选择Automatically restart Docker daemon? -> Yes $ sudo apt-get i
jetson nano拍照
09-17
Jet Nano具有多个用于连接相机的接口，包括USB、以太网和MIPI CSI-2。您可以根据您的需求选择合适的相机连接方式。如果您使用MIPI CSI-2相机，您需要使用带状电缆连接相机和Jetson Nano。关于如何连接MIPI CSI-2相机的带状电缆的详细信息，您可以参考Jetson Nano 2GB Developer Kit User Guide（Jetson Nano 2GB开发工具包用户指南）中的相关内容。 除了物理连接，您还可以使用Jetson Nano的相机API进行拍照。有一个名为jetson-inference的GitHub项目，其中包括Python和C的相机API，您可以使用这些API来流式传输CSI和USB摄像头、RTP/RTSP和视频文件。
评论 38
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值