【OpenGait 之 GaitSet 系列】 了解 GaitSet 代码与原论文算法框架图的对应关系以及算法流程

已于 2023-12-16 21:25:06 修改
阅读量1.9k 收藏 34
点赞数 40
分类专栏： 步态识别 文章标签： 计算机视觉
于 2023-12-16 16:09:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/D19831131991/article/details/135032286
版权

最近在使用AutoDL云服务器跑步态识别的代码，用的是开放步态识别框架OpenGait，记录一下自己跑代码的步骤和遇到的问题以及解决方式。

这篇文章主要记录OpenGait项目里GaitSet代码与原论文框架图的对应关系以及算法流程。

一、GaitSet论文算法框架图

论文题目：《Gaitset: Regarding gait as a set for cross-view gait recognition》
下载地址：GaitSet2019

注：GaitSet最初版本是2019年发布的，2021年该团队又在2019年版本基础上发表了另一篇文章，题目为《GaitSet: Cross-view gait recognition through utilizing gait as a deep set》，21年和19年文章内容大致相同。2021版本下载地址为：GaitSet2021

Gaitset算法框架图如下：
在这里插入图片描述

二、OpenGait项目里的GaitSet代码

为什么要强调“OpenGait项目里的GaitSet代码”？因为源代码和OpenGait项目里的在组织结构上不太一样，本文只是针对OpenGait项目里的。

OpenGait项目里的GaitSet代码文件路径为：OpenGait/opengait/modeling/models/gaitset.py

gaitset.py内容如下：

import torch
import copy
import torch.nn as nn

from ..base_model import BaseModel
from ..modules import SeparateFCs, BasicConv2d, SetBlockWrapper, HorizontalPoolingPyramid, PackSequenceWrapper

class GaitSet(BaseModel):
    def build_network(self, model_cfg):
        in_c = model_cfg['in_channels']
        self.set_block1 = nn.Sequential(BasicConv2d(in_c[0], in_c[1], 5, 1, 2),
                                        nn.LeakyReLU(inplace=True),
                                        BasicConv2d(in_c[1], in_c[1], 3, 1, 1),
                                        nn.LeakyReLU(inplace=True),
                                        nn.MaxPool2d(kernel_size=2, stride=2))

        self.set_block2 = nn.Sequential(BasicConv2d(in_c[1], in_c[2], 3, 1, 1),
                                        nn.LeakyReLU(inplace=True),
                                        BasicConv2d(in_c[2], in_c[2], 3, 1, 1),
                                        nn.LeakyReLU(inplace=True),
                                        nn.MaxPool2d(kernel_size=2, stride=2))

        self.set_block3 = nn.Sequential(BasicConv2d(in_c[2], in_c[3], 3, 1, 1),
                                        nn.LeakyReLU(inplace=True),
                                        BasicConv2d(in_c[3], in_c[3], 3, 1, 1),
                                        nn.LeakyReLU(inplace=True))

        self.gl_block2 = copy.deepcopy(self.set_block2)
        self.gl_block3 = copy.deepcopy(self.set_block3)
        
        self.set_block1 = SetBlockWrapper(self.set_block1)
        self.set_block2 = SetBlockWrapper(self.set_block2)
        self.set_block3 = SetBlockWrapper(self.set_block3)
        
        self.Head = SeparateFCs(**model_cfg['SeparateFCs'])

        self.set_pooling = PackSequenceWrapper(torch.max)

        self.HPP = HorizontalPoolingPyramid(bin_num=model_cfg['bin_num'])
        
    def forward(self, inputs):
        ipts, labs, _, _, seqL = inputs
        sils = ipts[0]  # [n, s, h, w]
        if len(sils.size()) == 4:
            sils = sils.unsqueeze(1)

        del ipts
        
        outs = self.set_block1(sils)
        gl = self.set_pooling(outs, seqL, options={"dim": 2})[0]
        gl = self.gl_block2(gl)

        outs = self.set_block2(outs)
        gl = gl + self.set_pooling(outs, seqL, options={"dim": 2})[0]
        gl = self.gl_block3(gl)

        outs = self.set_block3(outs)
        outs = self.set_pooling(outs, seqL, options={"dim": 2})[0]
        gl = gl + outs

        feature1 = self.HPP(outs)  # [n, c, p]
        feature2 = self.HPP(gl)  # [n, c, p]
        feature = torch.cat([feature1, feature2], -1)  # [n, c, p]
        embs = self.Head(feature)

        n, _, s, h, w = sils.size()
        retval = {
            'training_feat': {
                'triplet': {'embeddings': embs, 'labels': labs}
            },
            'visual_summary': {
                'image/sils': sils.view(n*s, 1, h, w)
            },
            'inference_feat': {
                'embeddings': embs
            }
        }
        return retval

三、GaitSet 代码与论文算法框架图的对应关系

1、3个set_block：提取每一帧的特征
①代码：

        self.set_block1 = nn.Sequential(BasicConv2d(in_c[0], in_c[1], 5, 1, 2),
                                        nn.LeakyReLU(inplace=True),
                                        BasicConv2d(in_c[1], in_c[1], 3, 1, 1),
                                        nn.LeakyReLU(inplace=True),
                                        nn.MaxPool2d(kernel_size=2, stride=2))

        self.set_block2 = nn.Sequential(BasicConv2d(in_c[1], in_c[2], 3, 1, 1),
                                        nn.LeakyReLU(inplace=True),
                                        BasicConv2d(in_c[2], in_c[2], 3, 1, 1),
                                        nn.LeakyReLU(inplace=True),
                                        nn.MaxPool2d(kernel_size=2, stride=2))

        self.set_block3 = nn.Sequential(BasicConv2d(in_c[2], in_c[3], 3, 1, 1),
                                        nn.LeakyReLU(inplace=True),
                                        BasicConv2d(in_c[3], in_c[3], 3, 1, 1),
                                        nn.LeakyReLU(inplace=True))

②对应原文算法图位置：
在这里插入图片描述
2、2个gl_block：提取所有帧集合后的特征
①代码

        self.gl_block2 = copy.deepcopy(self.set_block2)
        self.gl_block3 = copy.deepcopy(self.set_block3)

②对应原文算法图位置：
在这里插入图片描述
③注：gl_block只有2个，分别是gl_block2和gl_block3，没有gl_block1，我认为是为了和set_block的数字对应

3、SetBlockWrapper操作：不对应原文图片内容，只是为了把3个set_block 封装起来

        self.set_block1 = SetBlockWrapper(self.set_block1)
        self.set_block2 = SetBlockWrapper(self.set_block2)
        self.set_block3 = SetBlockWrapper(self.set_block3)

4、SeparateFCs：独立全连接操作
①代码

        self.Head = SeparateFCs(**model_cfg['SeparateFCs'])

②对应原文算法图位置：
在这里插入图片描述
5、set_pooling：集合池化操作
①代码：

       self.set_pooling = PackSequenceWrapper(torch.max)

②对应原文算法图位置：
在这里插入图片描述
6、HPP：水平金字塔池化操作
①代码：

       self.HPP = HorizontalPoolingPyramid(bin_num=model_cfg['bin_num'])

②对应原文算法图位置：
在这里插入图片描述

四、GaitSet 代码与算法流程对应关系

1、流程1
①代码

        outs = self.set_block1(sils)
        gl = self.set_pooling(outs, seqL, options={"dim": 2})[0]
        gl = self.gl_block2(gl)

②流程对应关系：
在这里插入图片描述
③解释：sils经过set_block1输出为蓝色out，所有蓝色out经过set_pooling操作输出为绿色gl，绿色gl经过gl_block2输出为正方体绿色gl，接下来的流程参考该解释

2、流程2
①代码

        outs = self.set_block2(outs)
        gl = gl + self.set_pooling(outs, seqL, options={"dim": 2})[0]
        gl = self.gl_block3(gl)

②流程对应关系：
在这里插入图片描述
3、流程3
①代码：

        outs = self.set_block3(outs)
        outs = self.set_pooling(outs, seqL, options={"dim": 2})[0]
        gl = gl + outs

②流程对应关系：
在这里插入图片描述
4、流程4
①代码

        feature1 = self.HPP(outs)  # [n, c, p]
        feature2 = self.HPP(gl)  # [n, c, p]
        feature = torch.cat([feature1, feature2], -1)  # [n, c, p]
        embs = self.Head(feature)

②流程对应关系：
在这里插入图片描述

总结

欢迎使用OpenGait研究步态识别的伙伴进行交流

努力的小菜包
关注
  • 40
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 9
    评论
专栏目录
CVPR2021-代码：CVPR 2021论文开源项目（带代码的文件）合集，同时欢迎各位大佬提交问题，分享CVPR 2021开放式项目
03-03
CVPR2021-代码 论文开源项目（带代码的文件）合集！CVPR 2021论文收录列表： : 注1：等2021年2月28日开奖后，欢迎各位大佬提交issue，分享CVPR 2021本文和开源项目！ 注2：CVPR 2021已交稿成立！已投稿且想要进来的群同学，可以添加微信： CVer9999 ，请备注： CVPR2021已投稿+姓名+学校/公司名称！一定要根据格式申请！ 【推荐阅读】 论文开源项目合集： : ECCV 2020论文开源项目合集： : 关于往年CV顶会论文（如ECCV 2020，CVPR 2019，ICCV 2019）以及其他优质CV论文和大盘点，详见： : 【CVPR 2021论文开源目录】 [人脸活体检测（面部防欺骗）]（＃面部防欺骗） 骨干 RepVGG：使VGG样式的ConvNets再次出色 论文： : 代码： ： 甘 通过分层样式分
【OpenGait】启动tensorboard 查看训练过程
weixin_46135327的博客
12-04 538
OpenGait使用SummaryWriter来记录训练过程中的数据，这些数据可以通过TensorBoard可视化。
探索OpenGait：一个开源的人体步态识别与分析框架
最新发布
gitblog_00088的博客
04-15 458
探索OpenGait：一个开源的人体步态识别与分析框架 项目地址:https://gitcode.com/ShiqiYu/OpenGait 项目简介 OpenGait 是由Shiqi Yu开发的一个开源项目，致力于提供一种高效、准确且易于使用的工具，用于人体步态数据的处理和分析。该项目利用深度学习技术，尤其在计算机视觉领域，以实现对行走模式的自动识别和理解。通过OpenGait，开发者和研究人员可...
CVPR 2023 | OpenGait: 步态识别开源框架介绍
专注计算机视觉全栈知识分享
03-19 5083
如果您也对人工智能和计算机视觉全栈领域感兴趣，强烈推荐您关注有料、有趣、有爱的公众号『CVHub』，每日为大家带来精品原创、多领域、有深度的前沿科技论文解读及工业成熟解决方案！同时欢迎添加小编微信: cv_huber，备注CSDN，加入官方学术|技术|招聘交流群，一起探讨更多有趣的话题！
步态识别开源框架OpenGait 迎来多项更新！
u010670887的博客
10-29 662
OpenGait是发布于2021年的可扩展步态识别框架，介绍OpenGait的论文被CVPR2023接收并选为Highlight Paper。本团队最近几年一直在持续更新和升级OpenGait，致力于为步态识别领域同行提供一个高效的开源工具。OpenGait内含多种SOTA步态识别算法，你不需要自己复现，只要把自己的算法嵌入OpenGait，就得到算法性能及与其他方法对比。网址：https://g...
步态识别之GaitSet
热门推荐
年轻即出发，
09-20 1万+
论文：GaitSet: Regarding Gait as a Set for Cross-View Gait Recognition Github：https://github.com/AbnerHqC/GaitSet 什么叫步态识别？ 最强大脑中，水哥和小度，挑战的核桃计划项目，本质就是一个步态识别的例子。遗憾的是，水哥被小度完败。 论文提出了步态识别的新网络结构Gai...
【使用OpenGait 复现步态识别经典算法 GaitSet ——CASIA-B数据集】
记录学习
12-13 3324
这篇文章主要记录使用OpenGait 复现步态识别经典算法 GaitSet 的步骤和遇到的问题以及解决方式，用到的数据集是CASIA-B。
步态识别常见模块解读及代码实现：基于OpenGait框架
weixin_42364196的博客
09-15 1910
最近在看步态识别相关论文，但是因为记忆力下降的原因，老是忘记一些内容。因此记录下来方便以后查阅，仅供自己学习参考，没有背景知识和论文介绍。
superglue论文内算法框架图（可修改）docx版本的
06-01
用画布组合的superglue和superpoint算法框图，附带一个单应性自适应图
ID3算法原理详细剖析+流程图+源代码+训练样例集+算法讨论分析
01-22
为机器学习的课程作业
《合成孔径雷达成像——算法与实现》之仿真图7.3的Matlab源代码
03-17
《合成孔径雷达成像——算法与实现》这本书的仿真图7.3的Matlab源代码。详情见http://blog.csdn.net/Destiny0321/article/details/62962103
gaitset.zip
06-10
在windows10中pytorch环境最新的包下，可运行的gaitset代码 环境python 3.8 cuda 10 cudnn 7 具体的环境和使用说明在文件中config.py的注释中给出 文件包括：gaitset论文和修改过后的gaitset代码
遗传算法求解车间调度问题代码（包括甘特图）
12-15
网上传的好多代码都是删去几行的不能运行（鄙视），我改全以后发上来了（保证可用），希望对大家有用。 网上传的好多代码都是删去几行的不能运行（鄙视），我改全以后发上来了（保证可用），希望对大家有用。
基于SIFT算法的图像拼接 matlab代码
04-27
基于SIFT算法的图像拼接matlab代码，里面是一个可视化GUI，可以直接通过运行GUI-main找到特征值和进行图片拼接，也有具体实现代码，亲测有用，非常具体
OpenGait 正式版1.0发布啦！
u010670887的博客
12-09 4845
OpenGait项目经过一个月的修改、精进、期间不断吸收社区反馈意见（反复跳票），正式的v1版本终于发布啦！这次更新包含两大块内容：丰富文档和支持OUMVLP数据集。网址：https://...
步态识别 GaitSet
jacke121的专栏
05-23 9601
复旦提出GaitSet算法，步态识别的重大突破！ 时间0.28s 该文研究的问题是步态识别，提出的新算法GaitSet精度大幅超越目前的state-of-the-art，可谓步态识别领域的重大突破！ 一、什么是步态识别？ 步态是指人们行走时的方式，这是一种复杂的行为特征。尤其在刑事侦查中，具有反侦察意识的罪犯或许会给自己化装，不让自己身上的哪怕一根毛发掉在作案现场，但有样东西他们是很难控制...
GaitSet（IAAA2019）（步态识别）
qq_42191914的博客
04-12 9048
 GaitSet是一种针对步态识别问题提出的模型，其切入角度新颖，模型灵活性高，速度快，且性能优秀。下面先介绍一下步态识别任务的基本信息（内容来源于网络查询和本论文的Introduction、Related Work部分），然后再介绍GaitSet架构。 1.步态识别任务概述  步态识别任务和传统行人ReID任务类似，即给定注册样本和验证样本，找出验证样本中和注册样本具有相同身份的那些样本。常用数...
【原创·论文翻译】GaitSet-旨在用自己的语言表达出作者的真实意图
向往有那么一天梦幻的步态识别落地，开花❀！
11-04 2704
【原创·论文翻译】GaitSet-旨在用自己的语言表达出作者的真实意图
OpenGait：首个步态识别框架开源了！
u010670887的博客
10-19 1256
远远地，看一眼你走路方式，就知道你是谁！这就是步态识别技术。首个步态识别框架OpenGait正式发布了！OpenGait由南方科技大学计算机系于仕琪科研团队开发，银河水滴公司予以支持。欢迎...
Gaitset怎么使用自己的数据集
08-07
### 回答1： A：如果您想使用自己的数据集来训练GaitSet模型，可以参考以下步骤： 1. 准备数据集：您需要准备一个含有多个个体的步态数据集，每个个体的数据应该包括多个步态循环。 2. 数据预处理：您需要对数据进行预处理，如去除噪声，对齐步态循环等。你需要将数据转换为适当的格式，以便可以用于GaitSet。 3. 划分训练集和测试集：将数据集划分为训练集和测试集。 4. 训练GaitSet模型：使用训练集，您可以训练GaitSet模型。在训练过程中要注意超参数的调整和监测训练过程的指标，如损失和准确率等。 5. 测试GaitSet模型：使用测试集，您可以测试GaitSet模型的性能，如准确率和召回率等。 6. 优化模型：通过对模型的改进和优化，您可以提高模型的性能。 7. 应用模型：将优化后的模型应用于实际场景中，如步态识别或者行人重识别。 ### 回答2： Gaitset是一个用于步态识别的数据集，要使用自己的数据集进行步态识别，可以按照以下步骤进行： 1.数据采集：使用一个或多个传感器（如加速度计或惯性测量单元）来收集样本数据。数据采集过程中，需要确保被测试者在相同的环境下进行采集，保持姿势和步态一致。 2.数据预处理：对采集到的数据进行预处理，包括去噪、滤波和标准化等操作。去噪可以去除由传感器噪声引起的不良信号，滤波可以平滑数据，标准化可以将数据映射到一个统一的范围。 3.特征提取：从预处理后的数据中提取有效的步态特征。常用的特征包括步态周期、步幅、步频和步态时序等。可以使用不同的特征提取方法，如时域特征、频域特征和时频域特征来获取更全面的信息。 4.模型训练：将提取到的特征与标记好的步态样本进行训练。可以使用机器学习算法如支持向量机（SVM）或深度学习模型如卷积神经网络（CNN）来构建步态识别模型。在训练过程中，可以采用交叉验证等方法来评估模型的性能。 5.模型测试与评估：使用训练好的模型对新的未知数据进行测试，并评估模型的性能指标，如准确率、召回率和F1分数等。可以采用混淆矩阵或ROC曲线等方法来评估模型的分类效果。 6.模型优化：根据测试结果，可以对模型进行调整和优化，如调整模型的参数或增加更多的训练数据等，以提高模型的识别准确率和鲁棒性。 通过以上步骤，就能够使用Gaitset数据集以及自己的数据集进行步态识别的训练和测试。 ### 回答3： Gaitset是一个用于人体步态识别的数据集，使用它可以实现对人体步态的自动识别和辨识。以下是使用Gaitset数据集的步骤： 1. 下载数据集：可以从Gaitset官方网站或其他可信的数据源下载数据集。确保数据集是完整的且包含所需的所有图像和标签。 2. 数据集预处理：在使用数据集之前，需要进行数据的预处理。这包括图像的裁剪、调整大小、灰度化、归一化等。还可以将数据集划分为训练集和测试集，用于训练和评估模型。 3. 特征提取：提取图像数据的特征，以便用于人体步态的识别。可以通过使用卷积神经网络（CNN）或其他特征提取技术，将图像转换为更具代表性的特征向量。 4. 模型训练：使用预处理后的数据集，训练一个适合步态识别的模型。可以选择传统的机器学习模型（如支持向量机）或深度学习模型（如卷积神经网络）。 5. 模型评估：使用测试集进行模型的评估，评估模型的准确率、精确率、召回率等指标，以确定模型的性能如何。 6. 预测和应用：使用训练好的模型对新的步态数据进行预测和识别。可以将该模型应用于实际场景，如安全监控、身份识别等。 需要注意的是，使用Gaitset数据集进行人体步态识别需要对相关的机器学习和图像处理技术有一定的了解，同时还需要使用合适的编程语言和工具进行实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

努力的小菜包

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值