Ubuntu下 u2net tensorrt模型部署

已于 2023-11-02 21:52:38 修改
阅读量524 收藏 4
点赞数 7
分类专栏： TensorRT-Alpha CUDA 文章标签： 深度学习 c++ pytorch 人工智能 图像处理 计算机视觉 视觉检测
于 2023-10-17 17:14:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72734364/article/details/133887663
版权

ubuntu下u2net tensorrt模型部署

  • U-2-Net是一种基于显著对象检测（SOD）的卷积神经网络，其核心思想是探索比场景或图像周围区域更专注的物体或区域，因此非常适合于做抠图应用。这种算法主要利用由AlexNet，VGG，ResNet，ResNeXt，DenseNet等骨干网络提取的深度特征进行显著物体检测。

  • U-2-Net在设计上进行了一些创新。首先，它采用了编码器-解码器的结构，这种结构在许多分割模型中都有广泛应用，如U-Net。其次，U-2-Net在编码器和解码器之间添加了跳跃连接（skip connection），即在每个编码器阶段，都会将对应的特征图与解码器中的相应特征图相加。这种跳跃连接有助于将编码器的低级特征与解码器的高级特征相结合，从而提高分割的准确性。

  • U-2-Net的应用场景非常广泛，除了显著对象检测外，还可以应用于生物医学图像分割、语义分割等方向。由于U-2-Net具有较好的分割性能和较低的计算复杂度，因此在实际应用中具有较高的实用价值。

  • u2net对物体分割的边缘细节把控非常到位，如下图是检测效果。
    在这里插入图片描述
    在这里插入图片描述

本文提供u2net-tensorrt加速方法。
有源码！有源码！有源码！ 不要慌，哈哈哈。
在这里插入图片描述

一、Ubuntu18.04环境配置

如果您对tensorrt不是很熟悉，请务必保持下面库版本一致。
请注意: Linux系统安装以下库，务必去进入系统bios下，关闭安全启动(设置 secure boot 为 disable)

1.1 安装工具链和opencv

sudo apt-get update 
sudo apt-get install build-essential 
sudo apt-get install git
sudo apt-get install gdb
sudo apt-get install cmake

sudo apt-get install libopencv-dev  
# pkg-config --modversion opencv

1.2 安装Nvidia相关库

注：Nvidia相关网站需要注册账号。

1.2.1 安装Nvidia显卡驱动

ubuntu-drivers devices
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-470-server # for ubuntu18.04
nvidia-smi

1.2.2 安装 cuda11.3

  • 进入链接: https://developer.nvidia.com/cuda-toolkit-archive
  • 选择：CUDA Toolkit 11.3.0(April 2021)
  • 选择：[Linux] -> [x86_64] -> [Ubuntu] -> [18.04] -> [runfile(local)]

    在网页你能看到下面安装命令，我这里已经拷贝下来：
wget https://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run
sudo sh cuda_11.3.0_465.19.01_linux.run

cuda的安装过程中，需要你在bash窗口手动作一些选择，这里选择如下：

  • select：[continue] -> [accept] -> 接着按下回车键取消Driver和465.19.01这个选项，如下图(it is important!) -> [Install]

    在这里插入图片描述
    bash窗口提示如下表示安装完成
#===========
#= Summary =
#===========

#Driver:   Not Selected
#Toolkit:  Installed in /usr/local/cuda-11.3/
#......

把cuda添加到环境变量：

vim ~/.bashrc

把下面拷贝到 .bashrc里面

# cuda v11.3
export PATH=/usr/local/cuda-11.3/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.3/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/usr/local/cuda-11.3

刷新环境变量和验证

source ~/.bashrc
nvcc -V

bash窗口打印如下信息表示cuda11.3安装正常

nvcc: NVIDIA (R) Cuda compiler driver<br>
Copyright (c) 2005-2021 NVIDIA Corporation<br>
Built on Sun_Mar_21_19:15:46_PDT_2021<br>
Cuda compilation tools, release 11.3, V11.3.58<br>
Build cuda_11.3.r11.3/compiler.29745058_0<br>

1.2.3 安装 cudnn8.2

  • 进入网站：https://developer.nvidia.com/rdp/cudnn-archive
  • 选择： Download cuDNN v8.2.0 (April 23rd, 2021), for CUDA 11.x
  • 选择： cuDNN Library for Linux (x86_64)
  • 你将会下载这个压缩包: “cudnn-11.3-linux-x64-v8.2.0.53.tgz”
# 解压
tar -zxvf cudnn-11.3-linux-x64-v8.2.0.53.tgz

将cudnn的头文件和lib拷贝到cuda11.3的安装目录下：

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

1.2.4 下载 tensorrt8.4.2.4

本教程中，tensorrt只需要下载\、解压即可，不需要安装。

  • 进入网站： https://developer.nvidia.com/nvidia-tensorrt-8x-download
  • 把这个打勾： I Agree To the Terms of the NVIDIA TensorRT License Agreement
  • 选择: TensorRT 8.4 GA Update 1
  • 选择: TensorRT 8.4 GA Update 1 for Linux x86_64 and CUDA 11.0, 11.1, 11.2, 11.3, 11.4, 11.5, 11.6 and 11.7 TAR Package
  • 你将会下载这个压缩包: “TensorRT-8.4.2.4.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz”
# 解压
tar -zxvf TensorRT-8.4.2.4.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz
# 快速验证一下tensorrt+cuda+cudnn是否安装正常
cd TensorRT-8.4.2.4/samples/sampleMNIST
make
cd ../../bin/

导出tensorrt环境变量(it is important!)，注：将LD_LIBRARY_PATH:后面的路径换成你自己的！后续编译onnx模型的时候也需要执行下面第一行命令

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/xxx/temp/TensorRT-8.4.2.4/lib
./sample_mnist

bash窗口打印类似如下图的手写数字识别表明cuda+cudnn+tensorrt安装正常
在这里插入图片描述

1.2.5 下载仓库TensorRT-Alpha并设置

git clone https://github.com/FeiYull/tensorrt-alpha

设置您自己TensorRT根目录:

git clone https://github.com/FeiYull/tensorrt-alpha
cd tensorrt-alpha/cmake
vim common.cmake
# 在文件common.cmake中的第20行中，设置成你自己的目录，别和我设置一样的路径eg:
# set(TensorRT_ROOT /root/TensorRT-8.4.2.4)

二、从u2net源码中导出onnx文件

可以直接从网盘下载onnx文件[weiyun]:weiyun or google driver ，你也可以自己下载仓库，然后按照下面指令手动导出onnx文件:

# 下载u2net源码
https://github.com/xuebinqin/U-2-Net

安装 u2net环境

cd U-2-Net-master
pip install -r requirements.txt

在u2net官方git页面下载pth格式模型，你将得到文件：u2net.pth和u2netp.pth；其中，u2netp.pth是小模型。然后使用tensorrt-alpha中提供的python脚本导出onnx，脚本路径：TensorRT-Alpha/u2net/alpha_export.py，具体导出指令如下：

cp alpha_export.py U-2-Net-master
python alpha_export.py --net=u2net --weights=saved_models/u2net/u2net.pth
python alpha_export.py --net=u2netp --weights=saved_models/u2netp/u2netp.pth

三、利用tensorrt编译onnx模型

将你的onnx模型放到这个路径:tensorrt-alpha/data/u2net。

cd tensorrt-alpha/data/u2net
# 设置环境变量
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/TensorRT-8.4.2.4/lib

使用以下命令编译onnx模型：

# put your onnx file in this path:tensorrt-alpha/data/u2net
cd tensorrt-alpha/data/u2net
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/TensorRT-8.4.2.4/lib

../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=u2net.onnx   --saveEngine=u2net.trt   --buildOnly --minShapes=images:1x3x320x320 --optShapes=images:4x3x320x320 --maxShapes=images:8x3x320x320
../../../../TensorRT-8.4.2.4/bin/trtexec   --onnx=u2netp.onnx  --saveEngine=u2netp.trt  --buildOnly --minShapes=images:1x3x320x320 --optShapes=images:4x3x320x320 --maxShapes=images:8x3x320x320

四、编译执行u2net-tensorrt工程

使用命令行编译下代码

git clone https://github.com/FeiYull/tensorrt-alpha
cd tensorrt-alpha/u2net
mkdir build
cd build
cmake ..
make -j10

按照需求执行推理，支持推理一张图片、在线推理视频文件，或者在线从摄像头获取视频流并推理。

## 320
# infer image
./app_u2net  --model=../../data/u2net/u2net.trt --size=320  --batch_size=1  --img=../../data/sailboat3.jpg  --show --savePath

# infer video
./app_u2net  --model=../../data/u2net/u2net.trt --size=320 --batch_size=2  --video=../../data/people.mp4  --show

# infer camera
./app_u2net  --model=../../data/u2net/u2net.trt --size=320 --batch_size=2  --cam_id=0  --show

例如：以下是u2net 部署后小模型的分割人像效果。在这里插入图片描述

再看一组发丝级别的分割效果：
在这里插入图片描述
在这里插入图片描述

五、结束语

都看到这里了，觉得可以请点赞收藏，有条件的去仓库点个star，仓库：https://github.com/FeiYull/tensorrt-alpha
在这里插入图片描述

黄家驹beyond
关注
  • 7
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
图像分割UNet (2) : 使用Pytorch搭建UNet网络
@bangbang的博客
06-14 4166
本文介绍如何使用pytorch搭建UNet网络结构进行医学视网膜血管影像分割
docker-ubuntu+zabbix部署
07-14
docker-ubuntu+zabbix部署
u2net网络的预训练模型u2net.pth
10-22
u2net网络的预训练模型+抠图人群+通过python库backgroundremover直接抠图+冲吧
Ubuntu16.04下Redis的安装和部署
05-24
Ubuntu下Redis的安装和部署。网上看了很多文档，没有一个是全对的，要么不详细，要么就没有亲测存在错误，误导新手。为此虚拟机都重装了好几次。最终总结出了这个文档。且后续迁移新环境安装部署一次搞定。 虚拟机版本：VMware-workstation-full-11.0.0-2305329 Ubuntu版本：ubuntukylin-16.04-desktop-amd64.iso
Ubuntu模型部署车道线
06-08
Ubuntu模型部署车道线
图像分割之U2-Net介绍
热门推荐
xuzz_498100208的博客
11-22 3万+
U2net是基于unet提出的一种新的网络结构，同样基于encode-decode，作者参考FPN，Unet，在此基础之上提出了一种新模块RSU(ReSidual U-blocks) 经过测试，对于分割物体前背景取得了惊人的效果。同样具有较好的实时性，经过测试在P100上前向时间仅为18ms(56fps)。
rembg 模型库放置位置设置
桑榆肖物
11-01 1467
之前写了一篇 rembg 库去背景的博文，有朋友发现怎么也无法解决，一直卡在下载报错。的 42 行添加打印，打印出来看看到底跑到哪个地方找文件了。如果你不知道自己的用户目录，也可以在文件管理器地址栏输入。文件夹，如果你没有特殊设置，其目录为。只需要将下载的4个onnx文件放在。如果还是报错，你可以尝试设置环境变量。注意文件夹名称u2net前面有个点。再不行可以修改 python 库的。模型下载后需要解决放在用户目录的。，自定义这个文件夹的位置。回车即可转到用户目录。
ubuntu22.04 搭建 Pytorch环境
HYWSWYQ的博客
09-05 5705
ubuntu22.04 搭建 Pytorch环境
ubuntu20.04 PXE 网络自动化部署
05-25
ubuntu20.04 PXE 网络自动化部署
U2Net-master.zip
11-30
显著目标检测|人像素描风格迁移|附带官方训练模型 | https://positive.blog.csdn.net/article/details/110387905 博文对应代码 |
U-2-Net 人脸肖像画生成预训练模型 u2net_portrait.pth
11-25
该文件是U-2-Net模型用于人脸肖像画生成的预训练模型文件:u2net_portrait.pth。 作者最新的应用，生成的人脸肖像画效果非常好，毛发处很细腻。感兴趣的小伙伴可以试一试！
U2Net网络预训练模型 u2netp.pth (4.7 MB)
11-26
U2Net网络预训练模型 u2netp.pth (4.7 MB) for https://github.com/NathanUA/U-2-Net 源资源在Google drive: https://drive.google.com/file/d/1rbSTGKAE-MTxBYHd-51l2hMOQPT_7EPy/view?usp=sharing
u2net.zip网络的预训练模型u2net.pth
01-11
该资源是U2Net网络的预训练模型u2net.pth U2-Net: Going Deeper with Nested U-Structure for Salient Object Detection 觉得其他人要价太坑人了
Ubuntu 14.04下Django和MySQL环境部署全过程
09-09
主要介绍了Ubuntu 14.04下Django和MySQL环境部署全过程，文中通过一步步的安装步骤介绍的很详细，相信对大家具有一定的参考借鉴价值，有需要的朋友们下面来一起来看看吧。
linux下 yolov8 tensorrt模型部署
整理ing
01-24 1万+
基于TensorRT cuda c++实现模型end2end的gpu加速，支持win10、linux，在2023年已经更新模型：YOLOv8, YOLOv7, YOLOv6, YOLOv5, YOLOv4, YOLOv3, YOLOX, YOLOR,pphumanseg,u2net,EfficientDet。Windows10教程正在制作，可以关注仓库：https://github.com/FeiYull/TensorRT-Alpha。
ubuntu下yolox tensorrt模型部署
最新发布
整理ing
10-16 1317
ubuntu下yolox tensorrt模型部署
在ubuntu上安装pytorch框架并完成机器学习demo
weixin_50702038的博客
07-10 1250
本文主要描述了如何在ubuntu上使用现在热度和关注度比较高的Pytorch(深度学习框架)构建一个简单的卷积神经网络，并对MNIST数据集进行了训练和测试以及在这过程中遇到的问题及相关思考小结。
ubuntu下tensorrt加速yolov5
06-06
要在Ubuntu下使用TensorRT加速Yolov5，需要按照以下步骤进行操作： 1. 安装TensorRT，可以从NVIDIA官网下载相应版本的TensorRT，然后按照官方文档进行安装。 2. 安装yolov5，可以直接从GitHub上下载yolov5的代码，然后按照官方文档进行安装。 3. 将yolov5的模型转换成TensorRT支持的格式。可以使用yolov5自带的export.py脚本将模型转换成ONNX格式，然后再使用TensorRT的工具trtexec将ONNX格式的模型转换成TensorRT格式。 4. 将转换后的TensorRT模型集成到yolov5中。可以修改yolov5的detect.py脚本，将模型加载方式改为加载TensorRT模型，并修改相应的输出格式。 5. 运行加速后的yolov5。可以使用yolov5自带的demo.py脚本进行测试，也可以自己编写代码进行测试。 注意，使用TensorRT加速yolov5需要一定的编程和系统知识，建议在有经验的人的指导下进行操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黄家驹beyond

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值