基于DETR的人脸伪装检测

最新推荐文章于 2024-10-31 19:02:23 发布
最新推荐文章于 2024-10-31 19:02:23 发布
阅读量800 收藏 5
点赞数 1
分类专栏： YOLO系列 PyTorch学习笔记 文章标签： DETR transformer 目标检测 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FriendshipTang/article/details/131670277
版权
本文介绍了如何基于DETR模型训练自己的COCO格式人脸伪装数据集。DETR是一个无需NMS后处理和anchor的目标检测网络，但训练时间长，对小目标检测效果有限。作者分享了修改模型参数、训练及预测的步骤，并提供了数据集、预训练权重和源代码链接。
摘要由CSDN通过智能技术生成

基于DETR的人脸伪装检测

前言

前提条件

实验环境

cython
git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI&egg=pycocotools
submitit
torch>=1.5.0
torchvision>=0.6.0
git+https://github.com/cocodataset/panopticapi.git#egg=panopticapi
scipy
onnx
onnxruntime

项目地址

DETR官方源代码地址：https://github.com/facebookresearch/detr.git

Linux

git clone https://github.com/facebookresearch/detr.git

Cloning into 'yolov8'...
remote: Enumerating objects: 4583, done.
remote: Counting objects: 100% (4583/4583), done.
remote: Compressing objects: 100% (1270/1270), done.
remote: Total 4583 (delta 2981), reused 4576 (delta 2979), pack-reused 0
Receiving objects: 100% (4583/4583), 23.95 MiB | 1.55 MiB/s, done.
Resolving deltas: 100% (2981/2981), done.

Windows

请到https://github.com/facebookresearch/detr.git网站下载源代码zip压缩包。

DETR

  • DETR是Facebook提出的基于Transformer的端到端目标检测网络。DETR做到了真正没有非最大抑制（NMS）后处理，而且不需要anchor（锚点生成）。但是，训练时间较长，对小目标的检测性能不是很高。建议使用可变形注意模块（deformable attention module）代替原始的多头注意力来关注参考点周围的关键位置。
  • DETR论文地址：https://arxiv.org/abs/2005.12872
  • DETR官方源代码地址：https://github.com/facebookresearch/detr.git
    在这里插入图片描述
    在这里插入图片描述

训练自己的数据集

修改models/detr.py中的参数

  • num_class需要设置为max_id+1，
  • 比如本文使用的人脸伪装数据集，索引从0到7，那么num_class应该设置为7+1=8，索引为8的类为背景类。
  • 又比如，有些数据集，索引从1到20，那么num_class应该设置为20+1=21，索引为21的类为背景类，但是因为索引从1开始，所以把索引为0的类设置为N/A，既不是背景也不是前景，应该是缺失类。
  • 作者举例4个类别的索引分别为1，23，24，56，那么num_class应该设置为 56+1 = 57，索引为57的类为背景类。其中缺失索引值：0、2-22、25-55应该用N/A填充，都是缺失类。
# origin
# num_classes = 20 if args.dataset_file != 'coco' else 91
# alter_my [num_classes = (max_obj_id + 1)]
num_classes = 8 if args.dataset_file != 'coco' else 8

在这里插入图片描述

进行训练

python main.py --output_dir ./weights --coco_path ../datasets/face_guise_datasets/ --epochs 100 --resume detr_r50_8.pth

在这里插入图片描述

进行预测

新建一个pre_img.py，内容如下：

import numpy as np
from models.detr import build
from PIL import Image
import matplotlib.pyplot as plt
import torch
import torchvision.transforms as transforms

torch.set_grad_enabled(False)
COLORS = [[0.000, 0.447, 0.741], [0.850, 0.325, 0.098], [0.929, 0.694, 0.125],
          [0.494, 0.184, 0.556], [0.466, 0.674, 0.188], [0.301, 0.745, 0.933]]
transform_input = transforms.Compose([transforms.Resize(800),
                                      transforms.ToTensor(),
                                      transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])


def box_cxcywh_to_xyxy(x):
    x_c, y_c, w, h = x.unbind(1)
    b = [(x_c - 0.5 * w), (y_c - 0.5 * h),
         (x_c + 0.5 * w), (y_c + 0.5 * h)]
    return torch.stack(b, dim=1)


def rescale_bboxes(out_bbox, size):
    img_w, img_h = size
    b = box_cxcywh_to_xyxy(out_bbox)
    b = b * torch.tensor([img_w, img_h, img_w, img_h], dtype=torch.float32, device="cuda")
    return b


def plot_results(pil_img, prob, boxes, img_save_path):
    plt.figure(figsize=(16, 10))
    plt.imshow(pil_img)
    ax = plt.gca()
    colors = COLORS * 100
    for p, (xmin, ymin, xmax, ymax), c in zip(prob, boxes.tolist(), colors):
        ax.add_patch(plt.Rectangle((xmin, ymin), xmax - xmin, ymax - ymin,
                                   fill=False, color=c, linewidth=3))
        cl = p.argmax()
        text = f'{CLASSES[cl]}:      {p[cl]:0.2f}'
        ax.text(xmin, ymin, text, fontsize=9,
                bbox=dict(facecolor='yellow', alpha=0.5))
    plt.savefig(img_save_path)
    plt.axis('off')
    plt.show()


def main(chenkpoint_path, img_path, img_save_path):
    args = torch.load(chenkpoint_path)['args']
    model = build(args)[0]
    device = "cuda" if torch.cuda.is_available() else "cpu"
    model.to(device)
    # 加载模型参数
    model_data = torch.load(chenkpoint_path)['model']
    model.load_state_dict(model_data)

    model.eval()
    img = Image.open(img_path).convert('RGB')
    size = img.size
    
    inputs = transform_input(img).unsqueeze(0)
    outputs = model(inputs.to(device))
    # 这类最后[0, :, :-1]索引其实是把背景类筛选掉了
    probs = outputs['pred_logits'].softmax(-1)[0, :, :-1]
    # 可修改阈值,只输出概率大于0.7的物体
    keep = probs.max(-1).values > 0.7
    bboxes_scaled = rescale_bboxes(outputs['pred_boxes'][0, keep], size)
    # 保存输出结果
    ori_img = np.array(img)
    plot_results(ori_img, probs[keep], bboxes_scaled, img_save_path)


if __name__ == "__main__":
    # CLASSES = ['N/A', "aeroplane", "bicycle", "bird", "boat",
    #            "bottle", "bus", "car", "cat", "chair",
    #            "cow", "diningtable", "dog", "horse",
    #            "motorbike", "person", "pottedplant",
    #            "sheep", "sofa", "train", "tvmonitor", "background"]
    CLASSES = ['glasses', "hat", "nothing", "glasses_hat", "glasses_mask", "hat_mask", "glasses_hat_mask", "mask", "background"]
    main(chenkpoint_path="weights/checkpoint.pth", img_path="test.jpg",
         img_save_path="result.jpg")

python pre_img.py

在这里插入图片描述

相关资源免费获取

人脸伪装数据集

  • 地址：https://download.csdn.net/download/FriendshipTang/88038140

预训练权重：detr_r50_8.pth

  • 地址：https://download.csdn.net/download/FriendshipTang/88038804

本文源码

  • 地址：https://download.csdn.net/download/FriendshipTang/88038809

注：如资源地址失效，请私信我！

参考

[1] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko. End-to-End Object Detection with Transformers. 2020
[2] DETR 源代码地址. https://github.com/facebookresearch/detr.git
[3] https://blog.csdn.net/m0_46412065/article/details/128538040

FriendshipT
关注
专栏目录
PyTorch深度学习实战（44）——基于 DETR 实现目标检测
盼小辉丶的博客
06-04 3363
基于 DETR 的目标检测模型是将 Transformer 网络引入目标检测任务中，与传统的基于区域提议的检测方法有所不同。DETR 模型的核心思想是将目标检测问题转化为集合预测问题，通过将图像中的所有位置视为一个集合，并通过 Transformer 完成对整个集合的编码和解码过程，从而在单个前向传递中直接预测出目标的类别和边界框。在本节中，我们将学习 transformer 和 DETR 的原理，并使用 PyTorch 实现 DETR 以执行目标检测任务。
DETR测试自己数据的方法（facebook）
cube_suger的博客
07-16 1073
facebook的DETR用训练好的模型测试自己数据集的方法 demo
人脸识别及检测
whaosoft143ai的博客
09-17 2864
人脸检测是从获取的图像中去除干扰，提取人脸信息，获取人脸图像位置，检测的成功率主要受图像质量，光线强弱和遮挡等因素影响。我们的整体思路就是先检测人脸所在的一个区域位置，然后检测鼻子相对于人脸框所在的一个位置，比如说人的左眼睛在0.2w，0.2h的人脸框处。这里我们把数据读了进来，然后进行需处理，提取h和w，其中我们自己设定图像的w为500，然后按照比例同比例设置h。的人脸框检测器，要使用灰度图进行检测，这个1是重采样个数。上图就是我们定位人脸的68个关键点，其中他的顺序是要严格的进行排序的。
【vision transformer】DETR原理及代码详解（三）
qq_35831906的博客
04-13 3684
Paddle框架下visition transformer-DETR项目实践及代码详解：
DETR项目--github--facebookresearch/detr
zzfive的博客
07-08 1440
DETR及代码解析
DETR代码解读
lishanlu136的博客
07-18 1544
DETR检测算法代码解读
DETR原理与代码精讲
bai666ai的博客
02-19 1309
课程链接：DETR原理与代码精讲--计算机视觉视频教程-人工智能-CSDN程序员研修院 Transformer在许多NLP(自然语言处理)任务中取得了最先进的成果。DETR(DetectionTransformer)是Facebook提出的基于Transformer的端到端目标检测方法。 DETR使用CNN+Transformer进行图像目标检测，该方法没有NMS后处理步骤、没有anchor。DETR总体思路是把目标检测看成一个set prediction的问题，并且使用Transformer来预测..
002 基于DETR的目标检测系统
2201_75291175的博客
05-28 554
DETR是一种基于Transformer结构的目标检测模型，它与传统的目标检测方法不同之处在于，它采用端到端的方式来进行目标检测，即将目标检测的两个任务（目标位置回归和目标类别分类）合并为一个任务，通过一个Transformer网络将输入图像映射到输出的目标框和对应的类别。用户还可以根据自己的需求，去更改QT界面的背景、按钮等，界面的操作和相关的代码都有详细的注释。常用包括车辆、行人、飞机、轮船、猫、狗、马、鸟、羊、自行车、瓶、椅子、火车、沙发、餐桌、电视机、盆栽植物等几十个类别进行检测和识别。
基于Transformer的detr目标检测算法，源码解读
02-08
DETR（DEtection TRansformer）是一种基于Transformer架构的端到端目标检测模型，其主要流程包括： 1. 特征提取：通过卷积神经网络提取输入图像的特征。 2. Transformer编码器：将特征图输入Transformer编码器，...
基于Transformer的detr目标检测算法.pdf
02-08
### 基于Transformer的DETR目标检测算法详解 #### 一、概述 近年来，目标检测作为计算机视觉领域的核心技术之一，在自动驾驶、安防监控、无人机应用等多个方面发挥了重要作用。传统的目标检测算法如Faster R-CNN、...
机器学习笔记 - 使用DETR进行目标检测
学以致用 知行合一
04-06 4192
Transformers 是一种深度学习架构，近年来越来越受欢迎。它们依赖于一种称为注意力的简单而强大的机制，它使人工智能模型能够有选择地关注其输入的某些部分，从而更有效地推理。 我们正在发布检测变压器 (DETR)，一种重要的目标检测和全景分割新方法。与以前的对象检测系统相比，DETR 完全改变了架构。它是第一个成功地将 Transformer 集成为检测管道中的核心构建块的对象检测框架。 DETR 与最先进的方法的性能相匹配，例如在具有挑战性的 COCO 对象检测数据集上完善且高度优化......
DETR训练自己的数据集
热门推荐
cc__cc__的博客
12-04 1万+
github地址：https://github.com/facebookresearch/detr 1.创建conda环境 推荐通过conda创建虚拟环境，具体操作可见linux系统下创建anaconda新环境及问题解决 2.clone代码并安装依赖库 git clone https://github.com/facebookresearch/detr.git conda install -c pytorch pytorch torchvision conda install cython scipy.
[综述笔记]Deep learning for brain disorder diagnosis based on fMRI images
Sherlily的博客
10-31 1129
计算机-人工智能-脑科学与类脑智能
深度学习-理论知识
qq_63961628的博客
10-31 339
深度学习（Deep Learning）是机器学习的一个子领域，它利用多层人工神经网络来模拟人脑的结构和功能，从而在复杂数据的分析、理解和生成上表现出色。深度学习是当前人工智能（AI）研究的核心技术之一，已广泛应用于图像识别、自然语言处理、自动驾驶等领域。下面，我将为你详细介绍深度学习的理论知识。
深度学习案例：一步步搭建多层神经网络以及应用
STRANGEX-03的博客
10-31 367
该案例来自吴恩达深度学习系列课程一《神经网络和深度学习》第四周编程作业，一步步搭建多层神经网络以及应用，作业内容是搭建一个能够识别猫的多层的神经网络。作业提供的资料包括：训练集、测试集、测试实例、神经网络工具包、加载数据的工具包，下载请移步参考链接一。
深度学习（九）：推荐系统的新引擎（9/10）
最新发布
小相探索IT世界
10-31 1482
深度学习在推荐系统中的应用为用户带来了更智能、更个性化的推荐体验。通过与推荐系统的融合，深度学习解决了传统推荐系统在处理大规模、高维度数据时的力不从心，以及冷启动和数据稀疏等问题。在应用方式上，各种 2vec 的应用、基于神经协同过滤的推荐以及在个性化推荐系统中的特征表示学习、序列模型和嵌入模型等，都为推荐系统的准确性和个性化提供了有力支持。构建深度学习推荐系统时，需要考虑整体框架与技术选择，如大数据框架和深度学习模型的选择。同时，通过具体案例分析，可以更好地理解深度学习在推荐系统中的实际应用。
引入了窥视孔连接（peephole connections）的LSTM
m0_73640344的博客
10-29 667
通过引入窥视孔连接，LSTM能够更加精确地控制信息流，因为每个门都可以根据细胞状态的即时值进行调整。这种设计不仅增强了模型的性能，尤其是在需要精细控制内部状态记忆的应用中，如复杂的序列预测和模式识别任务，也提高了决策过程的透明度和直观性。
深入探索：深度学习在时间序列预测中的强大应用与实现
平凡程序猿~的博客
10-28 3457
随着深度学习的快速发展，循环神经网络（RNN）、长短期记忆网络（LSTM）、门控循环单元（GRU）、卷积神经网络（CNN）以及Transformer模型逐步应用到时间序列分析中，并取得了较好的结果。下面将详细介绍这些模型的原理、优势、不足以及实际应用中的代码示例。
基于Tensorflow的DETR目标检测算法及实战教程
资源摘要信息: "DETR-基于Tensorflow实现DETR目标检测算法-附流程教程+项目源码-优质项目实战.zip" 知识点详细说明: 一、DETR（Detection Transformer）算法 DETR是一种结合了目标检测与自然语言处理技术的新型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FriendshipT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值