边缘检测——PidiNet网络训练自己数据集并优化推理测试（详细图文教程）

已于 2024-01-20 16:45:01 修改
阅读量2.7k 收藏 43
点赞数 30
分类专栏： 目标检测 文章标签： 目标检测 视觉检测
于 2023-12-28 22:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40280673/article/details/135267158
版权

PiDiNet 是一种用于边缘检测的算法，它提出了一种简单、轻量级但有效的架构。PiDiNet 采用了新

颖的像素差卷积，将传统的边缘检测算子集成到现代 CNN 中流行的卷积运算中，以增强任务性能。

在 BSDS500、NYUD 和 Multicue 上进行了大量的实验，以证明其有效性、高训练和推理效率。

目录

一、源码包

我自己在官网源码包的基础上改过一些代码，我提供的源码包中新增了网络裁剪优化，CPU推理测试代码，边缘检测图与原图融合等代码，也包含了训练集，推荐学者下载我提供的源码包使用。

官网地址：PidiNet

我提供的源码包获取方法文章末扫码到公众号中回复关键字：边缘检测PidiNet。获取下载链接。

论文地址：论文

我提供的源码包解压后的样子如下：

在这里插入图片描述

二、数据集准备

增强的数据集有BSD 500、PASCAL VOC和NYUD，下载链接见下，直接将链接复制到迅雷里面下载，速度很快。在我提供的源码包中有BSD 500数据集，位于目录pidinet\path\to中，如下：

在这里插入图片描述

有自己制作好数据集的，直接导入使用。

BSD 500数据集下载链接：   http://mftp.mmcheng.net/liuyun/rcf/data/HED-BSDS.tar.gz
PASCAL VOC数据集下载链接： http://mftp.mmcheng.net/liuyun/rcf/data/PASCAL.tar.gz
NYUD数据集下载链接  http://mftp.mmcheng.net/liuyun/rcf/data/NYUD.tar.gz

在这里插入图片描述

三、训练

有多种可以选择，官网提供的如下：

在这里插入图片描述

其中效果最好的是table7_pidinet，最轻量化的是table5_pidinet-tiny-l，学者根据自己需求选择模型大小，上图像的各个模型权重文件在源码包中trained_models文件夹下，可以直接用这些权重文件测试。

在这里插入图片描述

3.1 训练和测试命令

下面是各个模型对应的训练和测试命令：

############### Table 5, Baseline 
# train, or generate maps without conversion (uncomment the --evaluate)
python main.py --model pidinet --config baseline --sa --dil --resume --iter-size 24 -j 4 --gpu 0 --epochs 20 --lr 0.005 --lr-type multistep --lr-steps 10-16 --wd 1e-4 --savedir /path/to/table5_baseline --datadir /path/to/BSDS500 --dataset BSDS #--evaluate /path/to/table5_baseline.pth

# generate maps (no need to convert because baseline is already a vanilla cnn)
python main.py --model pidinet --config baseline --sa --dil -j 4 --gpu 0 --savedir /path/to/table5_baseline --datadir /path/to/BSDS500 --dataset BSDS --evaluate /path/to/table5_baseline.pth

# 101 FPS
python throughput.py --model pidinet --config baseline --sa --dil -j 1 --gpu 0 --datadir /path/to/BSDS500 --dataset BSDS



############### Table 5, PiDiNet
# train, or generate maps without conversion (uncomment the --evaluate)
python main.py --model pidinet --config carv4 --sa --dil --resume --iter-size 24 -j 4 --gpu 0 --epochs 20 --lr 0.005 --lr-type multistep --lr-steps 10-16 --wd 1e-4 --savedir /path/to/table5_pidinet --datadir /path/to/BSDS500 --dataset BSDS #--evaluate /path/to/table5_pidinet.pth

# generate maps with converted pidinet
python main.py --model pidinet_converted --config carv4 --sa --dil -j 4 --gpu 0 --savedir /path/to/table5_pidinet --datadir /path/to/BSDS500 --dataset BSDS --evaluate /path/to/table5_pidinet.pth --evaluate-converted

# 96 FPS
python throughput.py --model pidinet_converted --config carv4 --sa --dil -j 1 --gpu 0 --datadir /path/to/BSDS500 --dataset BSDS



############### Table 5, PiDiNet-L
# train, or generate maps without conversion (uncomment the --evaluate)
python main.py --model pidinet --config carv4 --resume --iter-size 24 -j 4 --gpu 0 --epochs 20 --lr 0.005 --lr-type multistep --lr-steps 10-16 --wd 1e-4 --savedir /path/to/table5_pidinet-l --datadir /path/to/BSDS500 --dataset BSDS #--evaluate /path/to/table5_pidinet-l.pth

# generate maps with converted pidinet
python main.py --model pidinet_converted --config carv4  -j 4 --gpu 0 --savedir /path/to/table5_pidinet-l --datadir /path/to/BSDS500 --dataset BSDS --evaluate /path/to/table5_pidinet-l.pth --evaluate-converted

# 135 FPS
python throughput.py --model pidinet_converted --config carv4 -j 1 --gpu 0 --datadir /path/to/BSDS500 --dataset BSDS



############### Table 5, PiDiNet-small
# train, or generate maps without conversion (uncomment the --evaluate)
python main.py --model pidinet_small --config carv4 --sa --dil --resume --iter-size 24 -j 4 --gpu 0 --epochs 20 --lr 0.005 --lr-type multistep --lr-steps 10-16 --wd 1e-4 --savedir /path/to/table5_pidinet-small --datadir /path/to/BSDS500 --dataset BSDS #--evaluate /path/to/table5_pidinet-small.pth

# generate maps with converted pidinet
python main.py --model pidinet_small_converted --config carv4 --sa --dil -j 4 --gpu 0 --savedir /path/to/table5_pidinet-small --datadir /path/to/BSDS500 --dataset BSDS --evaluate /path/to/table5_pidinet-small.pth --evaluate-converted

# 161 FPS
python throughput.py --model pidinet_small_converted --sa --dil --config carv4 -j 1 --gpu 0 --datadir /path/to/BSDS500 --dataset BSDS



############### Table 5, PiDiNet-small-l
# train, or generate maps without conversion (uncomment the --evaluate)
python main.py --model pidinet_small --config carv4 --resume --iter-size 24 -j 4 --gpu 0 --epochs 20 --lr 0.005 --lr-type multistep --lr-steps 10-16 --wd 1e-4 --savedir /path/to/table5_pidinet-small-l --datadir /path/to/BSDS500 --dataset BSDS #--evaluate /path/to/table5_pidinet-small-l.pth

# generate maps with converted pidinet
python main.py --model pidinet_small_converted --config carv4 -j 4 --gpu 0 --savedir /path/to/table5_pidinet-small-l --datadir /path/to/BSDS500 --dataset BSDS --evaluate /path/to/table5_pidinet-small-l.pth --evaluate-converted

# 225 FPS
python throughput.py --model pidinet_small_converted --config carv4 -j 2 --gpu 0 --datadir /path/to/BSDS500 --dataset BSDS



############### Table 5, PiDiNet-tiny
# train, or generate maps without conversion (uncomment the --evaluate)
python main.py --model pidinet_tiny --config carv4 --sa --dil --resume --iter-size 24 -j 4 --gpu 0 --epochs 20 --lr 0.005 --lr-type multistep --lr-steps 10-16 --wd 1e-4 --savedir /path/to/table5_pidinet-tiny --datadir /path/to/BSDS500 --dataset BSDS #--evaluate /path/to/table5_pidinet-tiny.pth

# generate maps with converted pidinet
python main.py --model pidinet_tiny_converted --config carv4 --sa --dil -j 4 --gpu 0 --savedir /path/to/table5_pidinet-tiny --datadir /path/to/BSDS500 --dataset BSDS --evaluate /path/to/table5_pidinet-tiny.pth --evaluate-converted

# 182 FPS 
python throughput.py --model pidinet_tiny_converted --sa --dil --config carv4 -j 2 --gpu 0 --datadir /path/to/BSDS500 --dataset BSDS



############### Table 5, PiDiNet-tiny-l
# train, or generate maps without conversion (uncomment the --evaluate)
python main.py --model pidinet_tiny --config carv4 --resume --iter-size 24 -j 4 --gpu 0 --epochs 20 --lr 0.005 --lr-type multistep --lr-steps 10-16 --wd 1e-4 --savedir /path/to/table5_pidinet-tiny-l --datadir /path/to/BSDS500 --dataset BSDS #--evaluate /path/to/table5_pidinet-tiny-l.pth

# generate maps with converted pidinet
python main.py --model pidinet_tiny_converted --config carv4 -j 4 --gpu 0 --savedir /path/to/table5_pidinet-tiny-l --datadir /path/to/BSDS500 --dataset BSDS --evaluate /path/to/table5_pidinet-tiny-l.pth --evaluate-converted

# 253 FPS
python throughput.py --model pidinet_tiny_converted --config carv4 -j 2 --gpu 0 --datadir /path/to/BSDS500 --dataset BSDS



############### Table 6, PiDiNet
# train, or generate maps without conversion (uncomment the --evaluate)
python main.py --model pidinet --config carv4 --sa --dil --resume --iter-size 24 -j 4 --gpu 0 --epochs 14 --lr 0.005 --lr-type multistep --lr-steps 8-12 --wd 1e-4 --savedir /path/to/table6_pidinet --datadir /path/to/NYUD --dataset NYUD-image --lmbda 1.3 #--evaluate /path/to/table6_pidinet.pth

# generate maps with converted pidinet
python main.py --model pidinet_converted --config carv4 --sa --dil -j 4 --gpu 0 --savedir /path/to/table6_pidinet --datadir /path/to/NYUD --dataset NYUD-image --lmbda 1.3 --evaluate /path/to/table6_pidinet.pth --evaluate-converted

# 66 FPS
python throughput.py --model pidinet_converted --sa --dil --config carv4 -j 1 --gpu 0 --datadir /path/to/NYUD --dataset NYUD-image



############### Table 7, PiDiNet
# train, or generate maps without conversion (uncomment the --evaluate)
python main.py --model pidinet --config carv4 --sa --dil --resume --iter-size 24 -j 4 --gpu 0 --epochs 14 --lr 0.005 --lr-type multistep --lr-steps 8-12 --wd 1e-4 --savedir /path/to/table7_pidinet --datadir /path/to/Multicue/multicue_v2 --dataset Multicue-boundary-1 #--evaluate /path/to/table7_pidinet.pth

# generate maps with converted pidinet
python main.py --model pidinet_converted --config carv4 --sa --dil -j 4 --gpu 0 --savedir /path/to/table7_pidinet --datadir /path/to/Multicue/multicue_v2 --dataset Multicue-boundary-1 --evaluate /path/to/table7_pidinet.pth --evaluate-converted

# 17 FPS
python throughput.py --model pidinet_converted --sa --dil --config carv4 -j 1 --gpu 0 --datadir /path/to/Multicue/multicue_v2 --dataset Multicue-boundary-1

各个模型的定义，在代码中的位置如下：

在这里插入图片描述

实际训练使用，只需要将修改训练命令中模型保存路径：–savedir；数据集路径：–dataset

具体使用如下，在终端输入命令，下面就是训练过程：

在这里插入图片描述

3.1 模型保存

训练好的模型会自动保存指定路径下：

在这里插入图片描述

四、测试

各个模型对应的测试命令见上面3.1。

在我提供的源码包中，单独区分了GPU测试脚本和CPU测试脚本，如下：

在这里插入图片描述
使
用测试命令时要修改读入测试集的路径：–datadir；保存测试结果的路径：–savedir；训练好的模型权重路径：–evaluate。其它的参数可以根据情况调整。

GPU测试命令例子如下：

python main_GPU.py --model pidinet_converted --config carv4 --sa --dil -j 4 --gpu 0 --savedir ./path/to/savedir_table7_pidinet --datadir ./path/to/custom_images --dataset Custom --evaluate ./trained_models/table5_baseline.pth --evaluate-converted

CPU测试命令例子如下：

python main_CPU.py --model pidinet_tiny_converted_small5 --config carv4 --sa --dil -j 4 --savedir ./results/pidinet_tiny_small5_Crop --datadir ./path/to/custom_images --dataset Custom --evaluate ./path/to/Train_Models/pidinet_tiny_small5_Crop/save_models/checkpoint_008.pth --evaluate-converted

下面是终端中输入命令实际测试的过程：

在这里插入图片描述

最终的测试结果会自动保存在–savedir指定的路径中，如下：

在这里插入图片描述

4.1 测试结果

4.1.1 测试场景1

在这里插入图片描述
在这里插入图片描述

4.1.2 测试场景2

在这里插入图片描述
在这里插入图片描述

4.1.3 测试场景3

在这里插入图片描述
在这里插入图片描述

4.2 检测边缘与原图融合

融合方法是先单独在Y通道上对原图和边缘图进行叠加融合，最后用融合后的Y通道和原图图的Cr，Cb合并，再转为BGR图像。用这样的融合方法得到的图像比较自然，色彩信息不会丢失。

4.2.1 融合代码

# 此方法可行，在Y通道上将图像的细节融合后再与CrCb色彩通道合并颜色

import cv2
import numpy as np

# 读取原始图像

image = cv2.imread('path/to/DenoiseImages/23.jpg', cv2.IMREAD_COLOR)    # 原图

image_edge = cv2.imread("results/Table_pidinet_tiny_l/eval_results/imgs_epoch_019/23.png")  # 边缘图像

# 转YCrCb图像
image_YCrCb = cv2.cvtColor(image,cv2.COLOR_BGR2YCrCb)
image_edge_YCrCb = cv2.cvtColor(image_edge,cv2.COLOR_BGR2YCrCb)

# 拆分YCRCb图像各个通道

image_y,image_cr,image_cb = cv2.split(image_YCrCb)

image_edge_y,image_edge_cr,image_edge_cb = cv2.split(image_edge_YCrCb)

# 将边缘图像转换为彩色图像
# edge_image_color = cv2.cvtColor(image_edge, cv2.COLOR_GRAY2BGR)

# 将边缘图像叠加到原始图像上
enhanced_image_y = cv2.addWeighted(image_y, 0.9, image_edge_y, 0.1, 0)

# 合同通道
fusion_YCrCb = cv2.merge((enhanced_image_y,image_cr,image_cb))

# YCrCb转BGR
fusion_BGR = cv2.cvtColor(fusion_YCrCb,cv2.COLOR_YCrCb2BGR)

cv2.imwrite("results/DenoiseImages+Table_pidinet_tiny_l/23.bmp",fusion_BGR)

# fusion_RGB = cv2.cvtColor(fusion_YCrCb,cv2.COLOR_YCrCb2RGB)

# 显示增强后的图像
cv2.imshow("original",image)
cv2.imshow("image_edge",image_edge)
cv2.imshow('image_y',image_y)
cv2.imshow('image_edge_y',image_edge_y)
cv2.imshow('enhanced_image_y',enhanced_image_y)
cv2.imshow('Fusion Image', fusion_BGR)
cv2.waitKey(0)
cv2.destroyAllWindows()

4.2.2 融合结果展示

4.2.1 场景1

在这里插入图片描述

4.2.2 场景2

在这里插入图片描述

五、模型优化

官网已经提供了多种模型，但是在CPU上还是远远不够，所以我的优化主要是针对速度。

5.1 修改通道数和空洞率

我最小的通道数为5，空洞率为2。其它值也可以设置，检测效果会有影响。

在这里插入图片描述

5.2 裁剪卷积层

我裁剪网络结构的部分如下图红框所示，裁剪代码脚本为源码包中的pidinet_Crop.py文件。

在这里插入图片描述
对应的源码里面将block_3部分和block_4部分删除，同时forword里面也要对应修改，如下：

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

通过这种方法能够提升一定速度，但是检测效果差了很多。

六、推理速度

我自己测试的图像分辨率为480*360，电脑处理器：12th Gen Intel® Core™ i7-12700H 2.30 GHz。

官网table7_pidinet模型大小为2.73M。 CPU推理速度：450ms/fps，GPU推理速度：4ms/fps。

官网table5-pidinet-tiny-l模型大小为304K。CPU推理速度：143.6ms/fps，GPU推理速度：2ms/fps。

模型优化，裁剪通道数为5，空洞率为2，模型大小为：178K。 CPU推理速度：81ms/fps。

模型优化，卷积层裁剪部分如下图红框所示，通道数为5，空洞率为2，模型大小为：65.06K。CPU推理速度：72.25ms/fps。

总结

以上就是边缘检测算法PidiNet网络训练自己数据集并优化推理测试的详细图文教程，该网络架构都是采用轻量化的模块集成，确实快，但依然有优化空间，有更深入研究的学者欢迎一起探讨。

总结不易，多多支持，谢谢！

视觉研坊
关注
专栏目录
图像边缘检测
03-14
图像边缘检测
图像分割和边缘检测-BSDS500数据集
01-22
BSDS300基础上扩展出的数据集，加入了200张新的图片。 BSDS500包括：图片，ground-truth, benchmarks
PiDiNet 项目使用教程
最新发布
gitblog_00027的博客
10-11 375
PiDiNet 项目使用教程 pidinet 项目地址: https://gitcode.com/gh_mirrors/pi/pidinet 1. 项目目录结构及介绍 pi...
PiDiNet:Pixel Difference Networks for Efficient Edge Detection
weixin_49183141的博客
11-13 1442
传统边缘检测器仅用作一些现有方法中提取候选边缘点的辅助工具。直观上，边缘表现出不同的特定图案，如直线、角和“X”连接点。而基于 CNN 的边缘检测的高性能是通过大量预训练的 CNN 主干来实现的，这会消耗内存和能量。PiDiNet 采用新颖的像素差分卷积，将传统的边缘检测算子集成到现代 CNN 中流行的卷积运算中，以增强任务性能。我们相信可以衍生出一种新型的卷积运算，以满足以下需求。首先，它可以轻松捕获图像梯度信息，有利于边缘检测，并且CNN模型可以更加专注，释放处理大量不相关图像特征的负担。
PIDnet训练
qq_45721800的博客
04-28 567
PID网络训练
【教程】从零开始-PIDNet（语义分割）模型训练自己的数据集
北屿的博客
07-26 7471
从零开始用语义分割模型PIDNet训练自己的数据集。
深度学习边缘检测 HED 训练自己的数据
tzwsg的博客
07-27 4507
深度学习边缘检测 HED 训练自己的数据 数据集制作 使用labelme标注，选择lineStrip（线条束）标注 生成json文件。 之后使用批量处理脚本将json文件转为边缘数据集。具体过程如下： 首先将所有的json文件放入一个文件夹内，同时将接送json2dataset.py脚本放入文件夹内： json2dataset.py 批量处理 可以在这个地方修改linewidth #-*-coding:utf-8-*- import os files=os.listdir('./') files.remo
PIDNET自有数据训练、TensorRT转换、报错解决过程汇总
q1042960848的博客
11-07 2811
PIDNET自有数据训练、TensorRT转换、报错解决过程汇总
保姆级 边缘检测评价OIS、ODS、PR曲线绘制 ——在自己的数据集上
pannijigou的博客
11-21 3553
边缘检测评估
图像处理领域之►边缘检测大合集◄【应该是全网仅有的了吧】
成名每在穷苦日
09-20 1666
概述。
U-NET网络进行细胞图像的边缘检测
08-31
此代码是使用U-NET网络实现细胞图像的边缘检测与提取！
yolov8实战第一天——yolov8部署并训练自己的数据集（保姆式教程）
热门推荐
qq_34717531的博客
12-15 2万+
YOLOv8是一种基于深度神经网络的目标检测算法，它是YOLO（You Only Look Once）系列目标检测算法的最新版本。YOLOv8的主要改进包括：更高的检测精度：通过引入更深的卷积神经网络和更多的特征层，YOLOv8可以在保持实时性的同时提高检测精度。更快的检测速度：通过对模型进行优化，YOLOv8可以在不降低检测精度的情况下提高检测速度。支持更多的检测任务：除了传统的物体检测任务之外，YOLOv8还支持人脸检测、车辆检测等更多的检测任务。
模型训练篇 | yolov10来了！手把手教你如何用yolov10训练自己的数据集（含网络结构 + 模型训练 + 模型推理等）
突然好想你
06-04 2万+
YOLOv10推出的消息引发了AI界的关注，它被认为是计算机视觉领域的突破性框架，以实时的端到端目标检测能力而闻名，通过提供结合效率和准确性的强大解决方案，延续了YOLO系列的传统。新版本发布之后，很多人已经进行了部署测试，效果不错，本节课就带领大家如何基于YOLOv10训练模型并推理测试！~🌈
全网最详细教程，手把书教你使用YOLOv10训练自己的数据集和推理(附YOLOv10网络结构图)
weixin_44779079的博客
08-20 4228
YOLOv10，由清华大学多媒体智能组只开发，是一款亳秒级实时端到端目标检测的开源模型。该模型在保持性能不变的情况下，与YOLOv9相比，延迟减少了46%，参数减少了25%，非常适合需要快速检测物体的应用，如实时视频分析、自动驾驶和智能医疗等领域。这些改进使得YOLOv10在实时物体检测领域达到了新的技术水平。
【目标检测】基于yolov4训练自己的数据集(附代码和数据集，保姆级教程)
学无止境、积少成多、厚积薄发
02-06 4120
手把手系列教程：基于yolov4训练自己的数据集(保姆级教程)
PIDINET：轻量级、高效的网络识别与管理系统
gitblog_00086的博客
04-26 414
PIDINET：轻量级、高效的网络识别与管理系统 pidinet 项目地址: https://gitcode.com/gh_mirrors/pid/pidinet 是一个开源项目，旨在提供一种简单而强大的工...
太实用了！关于ControlNet，这篇你一定要看
01-10 1867
这里是行者AI，我们专注于人工智能在游戏领域的研究和应用，凭借自研算法，推出游戏AI、智能内容审核、数据平台等产品服务。controlNet控制生成anypaint看到这篇文章的你，一定也是AI绘画的爱好者吧。我们有一款可以上手入门，也可以满足的AI美术在线学习工具。在线生图，无需硬件和部署。anypaint功能包括。不论你是初学者还是专业人士，都能在图刷刷中找到适合自己的绘图方式和独特风格，为你的创意提供无限可能。入股绝对不亏。的出现代表着 AI 生成开始进入真正。
pidinet边缘检测
10-19
PiDiNet是一种简单、轻量级但有效的边缘检测架构，它采用了新颖的像素差卷积，将传统的边缘检测算子集成到现代CNN中流行的卷积运算中，以增强任务性能。与传统的边缘检测器相比，PiDiNet具有更高的训练和推理效率，并且可以在BSDS500、NYUD和Multicue等数据集上实现高性能。此外，PiDiNet的参数量小，速度快，可以在不需要大规模数据集进行模型预训练的情况下进行训练。在实验中，PiDiNet在BSDS500数据集上的ODS F-measure为0.807，速度为100 FPS，参数小于1M。相关论文已经发表。
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

视觉研坊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值