百度Paddle视频分类论文3D Resnet论文复现

最新推荐文章于 2024-08-08 07:02:12 发布
最新推荐文章于 2024-08-08 07:02:12 发布
阅读量1.5k 收藏 19
点赞数 1
分类专栏： 视频分类 文章标签： 深度学习 paddlepaddle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32097577/article/details/109117042
版权

前段时间参加了百度深度学习论文复现营——视频分类论文复现，在此做一些学习记录，希望可以帮助到有需要的朋友

学习资源

百度顶会论文复现营 https://aistudio.baidu.com/aistudio/education/group/info/1340

1. 视频分类论文综述

1.1 任务介绍

任务：将视频分到指定类别集合的一个或多个，精细粒度：主要行为识别
应用场景：视频自动标注、视频搜索、监控视频行为理解、自动驾驶、互联网视频合规审查
数据集：

  • HMDB-51 （2011）
  • UCF-101（2012）
  • Kinetics（2017~2019）

1.2 任务介绍

  • 视频由空间维度和时间维度组成
  • 静态图像特征：场景/目标及其关系等
  • 运动特征：目标的帧间运动等
  • 音频特征：语音内容、说话人等
  • 外部特征：目标关系先验、运动模式等

1.3 主流方法

  • 双流网络：
    人类有两条视觉信息处理通道，一条侧重于静态视觉场景/目标，另一条侧重于运动。
    输入：静态图像和两帧图像之间的光流
  • 静态图像特征融合：
    提取视频不同时刻多帧图像的特征，聚合生成视频级特征，进而分类。
    代表：LRCN（CNN+LSTN）、ActionVLAD、Attention Cluster
  • 3D卷积：
    C3D、P3D、I3D（将2D卷积膨胀为3D卷积的方法）

1.4 趋势展望

  • 训练加速：挂载成熟模块（无需训练）、避免复杂光流计算
  • 测试加速：轻量级主干网（加速推理）
  • 设计轻量化的视频分类模型
  • 引入新的信息模态（如：人体关键点分布）

2. 复现论文介绍：3D Resnet

Reference：(ICCV2017 workshop)Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition
原文地址：论文
Github地址：代码
点评：整篇论文的创新性在于拓展了2D Resnet，以及贡献代码的简洁性

3. 复现步骤

3.1 整体流程

  • 数据集获取 √
  • 数据预处理
  • 构建前向网络 √
  • 构建反向传播 √
  • 精度对齐：小数据集训练（2个epoch）

3.2 精度对齐

  • 去除随机性：去除dropout等 √
  • 数据对齐：输入数据 √
  • 模型参数对齐：
    pytorch 和 Paddle 网络参数输出并手动对齐 √
    pytorch预训练模型参数转换为Paddle √
    将保存的模型载入并设置Paddle模型初始化 √
  • Loss对齐
  • 小规模实验

4. 实际复现问题

因实际复现时间受限，实际完成了√部分的复现，最后测试集分类准确率为44%，验收标准为92%

（1）借用百度baseline

参考项目：https://aistudio.baidu.com/aistudio/projectdetail/674480
调用config文件报错 KeyError:’TRAIN’
原因是路径出错，configs写成了config，不过报错应该先提示找不到文件比较人性化。
此外配置中对应参数应改为论文参数：

seg_num = 1 #划分为几段
seglen = 16 #每个片段取n帧(随机抽)

(2)BatchNorm3d 对应paddle的BatchNorm

torch 与 paddle API对照表中对应的应该是batch_norm，实际应该用BatchNorm
在这里插入图片描述
在这里插入图片描述

(3)Paddle中的API勘误

Fluid.dygrapy.Conv3D( num_fliters = ) 报错提示没有num_fliters 参数，实际是num_filters
在这里插入图片描述

(4)如何遍历模块的问题

Pytorch中nn.moudles可以返回网络各层模块，对应paddle中用fluid.dygraph.Layer.sublayers 代替

总结

第一次复现paddle，中间也有很多对原文代码不理解复现不到位的地方，欢迎大家指正
Github 地址：Resnet3DPaddle
Ai Studio 地址：Paddle论文复现3DResnet

潜沉10
关注
  • 1
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MATLAB算法实战应用案例精讲-【图像处理】小目标检测（附matlab代码实现）
qq_36130719的博客
01-13 4200
现有的小目标定义方式主要分为以下两类，即基于相对尺度的定义与基于绝对尺度的定义。(1)基于相对尺度即从目标与图像的相对比例这一角度考虑来对小目标进行定义。Chen[1]等对小目标做了如下定义：同一类别中所有目标实例的相对面积，即边界框面积与图像面积之比的中位数在0.08%~0.58%之间。除此以外，较为常见的还有以下几种：①目标边界框的宽高与图像的宽高比例小于一定值，较为通用的比例值为0.1；②目标边界框面积与图像面积的比值开方小于一定值，较为通用的值为0.03；
ResNet也能用在3D模型上了，清华「计图」团队新研究已开源
量子位
06-18 451
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI用AI处理二维图像，离不开卷积神经网络（CNN）这个地基。不过，面对三维模型，CNN就没有那么得劲了。主要原因是，3D模型通常采用...
ResNet3D用于视频分类
04-24
该readme文件详细介绍了https://github.com/kenshohara/3D-ResNets-PyTorch这个repo中的ResNet3D的使用方法，并将其用于一个新的打架数据集的视频分类任务
3D-ResNets-PyTorch: 基于PyTorch的三维残差网络用于动作识别
最新发布
gitblog_00217的博客
08-08 543
3D-ResNets-PyTorch: 基于PyTorch的三维残差网络用于动作识别 3D-ResNets-PyTorch3D ResNets for Action Recognition (CVPR 2018)项目地址:https://gitcode.com/gh_mirrors/3d/3D-ResNets-PyTorch 项目介绍 3D-ResNets-PyTorch 是一个实现三维残差网络...
video-classification-3d-cnn-pytorch：使用3D ResNet的视频分类工具
02-05
使用3D ResNet进行视频分类 这是使用训练的3D ResNet进行视频（动作）分类的pytorch。 在Kinetics数据集上训练了3D ResNet，该数据集包括400个动作类。 此代码将视频用作输入，并在得分模式下输出每16帧的班级名称和预测班级得分。 在功能模式下，此代码每16帧输出512个暗角的功能（在全局平均池化之后）。 提供此代码的Torch（Lua）版本。 要求 conda install pytorch torchvision cuda80 -c soumith FFmpeg，FFprobe wget http://johnvansickle.com/ffmpeg/
3D ResNet：用于动作识别的3D ResNet
02-03
用于动作识别的3D ResNet 这是以下论文的PyTorch代码： 该代码仅包括对ActivityNet和Kinetics数据集的培训和测试。 如果您想使用我们的预训练模型对视频进行分类，请使用。 提供了此代码的PyTorch（python）版本。 PyTorch版本包含其他模型，例如预激活ResNet，Wide ResNet，ResNeXt和DenseNet。 引文 如果您使用此代码或预先训练的模型，请引用以下内容： @article{hara3dcnns, author={Kensho Hara and Hirokatsu Kataoka and Yutaka
resnet过拟合_行为识别 论文笔记（四）ResNet-3D(Tran)
weixin_39672296的博客
12-16 4418
题目：ConvNet Architecture Search for Spatiotemporal Feature Learning链接：ConvNet Architecture Search for Spatiotemporal Feature Learning​arxiv.org摘要提出了深度3D残差网络，性能比C3D网络好得多：比C3D快两倍且小两倍。表示更加紧凑引言改进ConvNet架构的...
3D_resnet_regression
02-21
这是一个pytorch实现，用于使用在论文提出的3D-resnet架构根据RGB，深度和RGB深度图像进行联合状态估计。 在本文中，他们表明可以使用大型视频数据集从头开始训练3D CNN架构，以进行动作识别。 在此代码中，我们将此架构转换为回归架构，以直接从视频图像估计机器人操纵器的关节状态。 网络模型的实现是从存储库并进行更改的。 请检查和以获取有关方法，结果和实现细节的更详细说明。 而且，在同一存储库中，它们为几种体系结构提供了预训练的权重，这些体系结构可用于微调此网络。 要运行代码： 在“数据”文件夹中，有一个小的示例数据集，以演示代码使用哪种数据以及如何创建数据集。 运行代码的步骤 创建.csv文件，其中包含数据集的训练，验证和测试拆分的信息： python createCSV . py - - data_dir data / - - perc_train 50 - - pe
PaddlePaddle百度论文复现营——视频分类入门学习笔记
Kevin Pang的博客
08-07 650
PaddlePaddle百度论文复现营——视频分类入门学习笔记 1 任务与背景 视频分类任务、问题与挑战、经典数据集、深度学习相关背景知识 1.1 视频分类的意义 1.2 视频分类定义 1.3 视频分类的挑战 1.4 视频分类发展历程 1.5 视频分类数据集 1.5.1 HMDB-51 主要用于行为识别 1.5.2 UCF-101 主要用于行为识别，运动分析，是最具有影响力的视频分类数据集之一 1.5.3 Sports-1M 主要用于行为识别，运动分析，斯坦福大学提供的视频分类数
森说AI：用paddle2.x完成resnet50模型转写并实现前向对齐（1）
weixin_46421489的博客
08-16 833
文章目录前言pytorch源码解析resnet50网络结构卷积神经网络基础卷积填充步幅感受野批量操作API介绍池化Relu激活函数批归一化（Batch Normalization）丢弃法Dropout再看ResNet网络结构 前言 这次飞桨的论文复现的作业是要求去将pytorch的resnet50模型来用paddle来实现，因为我以前根本没有接触过pytorch，所以这里面实现起来还是有点困难的，然后我们这里就开始实现吧！ pytorch源码解析 这里面给了一个pytorch的链接：https://gith
PaddleDetection目标检测任务简介和概述
tegddhdrhdd的博客
11-15 9396
2021SC@SDUSC 目标检测任务简介 目标检测的主要目的是让计算机可以自动识别图片或者视频帧中所有目标的类别，并在该目标周围绘制边界框，标示出每个目标的位置，如下图所示。 图（a）是图像分类任务，只需识别出这是一张斑马的图片。 图（b）是目标检测任务，不仅要识别出这是一张斑马的图片，还要标出图中斑马的位置。 目标检测是计算机视觉的主要方向之一，同时也是实例分割，人脸检测，关键点检测等视觉任务的基础，目标检测应用场景广泛，下面列举了一些常见的应用场景。 目标检测任务的挑战 对于目标检测任
飞桨Tracking目标跟踪库开源！涵盖业界主流的VOT算法，精准检测动态目标轨迹...
百度大脑
09-09 2787
点击左上方蓝字关注我们如何精准理解运动目标的行为呢？一起看看下面的视频，感受VOT技术的神奇吧！从短视频中可以发现，视频中的目标是运动的，且不断变化。对于物体遮挡、形变、背景杂斑、尺度变...
3D-ResNets-PyTorch复现
weixin_47994925的博客
07-06 943
【视频分类】3D-ResNets-PyTorch复现
ResNet论文复现
qq_40954115的博客
02-11 1386
原文链接：点击打开链接摘要： ResNet论文笔记 一、论文简介先从Kaiming He的那篇paper说起吧，paper主要解决的还是神经网络的深度和准确率之间的关系，当神经网络的层数增加，出现了degradation，trainging error和test error都会增加，针对这种退化问题，作者提出了Residual...ResNet论文笔记一、论文简介先从Kaiming He的那篇pa...
百度顶会论文复现营------视频分类 3D ResNets
qq_35818865的博客
08-08 354
论文题目是“Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition” 论文地址在arXiv.org里。地址是https://arxiv.org/abs/1708.07632 这篇论文是2017年ICCV的一篇文章 由日本国立科学技术研究院提出的。 ...
探索3D世界：PaddlePaddle's Paddle3D深度学习框架
gitblog_00087的博客
04-03 486
探索3D世界：PaddlePaddle's Paddle3D深度学习框架 Paddle3DA 3D computer vision development toolkit based on PaddlePaddle. It supports point-cloud object detection, segmentation, and monocular 3D object detection ...
【论文笔记】视频分类与图网络的结合 Videos as Space-Time Region Graphs
elaine_bao的专栏
12-26 3428
Paper: https://arxiv.org/abs/1806.01810 (ECCV 2018) Author: Xiaolong Wang, Abhinav Gupta (CMU) 0. 引言 GNN最近在深度学习领域受到了广泛关注，其具有解决深度学习无法解决的因果推理和可解释性的问题，可以说是一个比较有前景的方向。今天来分享一篇ECCV2018的paper，结合图网络来做视频分类。视频和...
ResNet50代码复现【转】
weixin_49746788的博客
05-10 186
链接：https://www.zhihu.com/zvideo/1271938372802781184 讲的很详细，很好
AI生成藝術(No.3):Paddle的3D點雲GAN模型
weixin_44462965的博客
04-22 2128
PaddlePaddle点云3D GAN,与你分享！尊重原创、感谢原创、珍惜原创。近几年，随著机器学习模型(如 GAN)和大规模 3D 资料集（如 ShapeNet）的出现，三维重建可以不再依赖特征匹配，而是借助于从大数据中学到的形状先验知识，来进行重建，GAN(生成对抗网路)的潜力在于它可以类比任何资料分配 (Distribution)。由于它是机器学习快速发展的领域之一。例如，在3D ShapeNet 资料集上训练 GAN 来生成逼真的立体形状。ShapeNet 数据集，是由斯坦福大学..
使用paddle框架写一段resnet网络代码
05-15
好的，以下是使用 PaddlePaddle 框架实现 ResNet 网络的代码： ```python import paddle import paddle.nn as nn class BasicBlock(nn.Layer): expansion = 1 def __init__(self, in_channels, out_channels, stride=1, downsample=None): super(BasicBlock, self).__init__() self.conv1 = nn.Conv2D(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias_attr=False) self.bn1 = nn.BatchNorm2D(out_channels) self.relu = nn.ReLU() self.conv2 = nn.Conv2D(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias_attr=False) self.bn2 = nn.BatchNorm2D(out_channels) self.downsample = downsample self.stride = stride def forward(self, x): identity = x out = self.conv1(x) out = self.bn1(out) out = self.relu(out) out = self.conv2(out) out = self.bn2(out) if self.downsample is not None: identity = self.downsample(x) out += identity out = self.relu(out) return out class Bottleneck(nn.Layer): expansion = 4 def __init__(self, in_channels, out_channels, stride=1, downsample=None): super(Bottleneck, self).__init__() self.conv1 = nn.Conv2D(in_channels, out_channels, kernel_size=1, bias_attr=False) self.bn1 = nn.BatchNorm2D(out_channels) self.conv2 = nn.Conv2D(out_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias_attr=False) self.bn2 = nn.BatchNorm2D(out_channels) self.conv3 = nn.Conv2D(out_channels, out_channels * self.expansion, kernel_size=1, bias_attr=False) self.bn3 = nn.BatchNorm2D(out_channels * self.expansion) self.relu = nn.ReLU() self.downsample = downsample self.stride = stride def forward(self, x): identity = x out = self.conv1(x) out = self.bn1(out) out = self.relu(out) out = self.conv2(out) out = self.bn2(out) out = self.relu(out) out = self.conv3(out) out = self.bn3(out) if self.downsample is not None: identity = self.downsample(x) out += identity out = self.relu(out) return out class ResNet(nn.Layer): def __init__(self, block, layers, num_classes=1000): super(ResNet, self).__init__() self.in_channels = 64 self.conv1 = nn.Conv2D(3, 64, kernel_size=7, stride=2, padding=3, bias_attr=False) self.bn1 = nn.BatchNorm2D(64) self.relu = nn.ReLU() self.maxpool = nn.MaxPool2D(kernel_size=3, stride=2, padding=1) self.layer1 = self._make_layer(block, 64, layers[0]) self.layer2 = self._make_layer(block, 128, layers[1], stride=2) self.layer3 = self._make_layer(block, 256, layers[2], stride=2) self.layer4 = self._make_layer(block, 512, layers[3], stride=2) self.avgpool = nn.AdaptiveAvgPool2D((1, 1)) self.fc = nn.Linear(512 * block.expansion, num_classes) def _make_layer(self, block, out_channels, blocks, stride=1): downsample = None if stride != 1 or self.in_channels != out_channels * block.expansion: downsample = nn.Sequential( nn.Conv2D(self.in_channels, out_channels * block.expansion, kernel_size=1, stride=stride, bias_attr=False), nn.BatchNorm2D(out_channels * block.expansion) ) layers = [] layers.append(block(self.in_channels, out_channels, stride, downsample)) self.in_channels = out_channels * block.expansion for _ in range(1, blocks): layers.append(block(self.in_channels, out_channels)) return nn.Sequential(*layers) def forward(self, x): x = self.conv1(x) x = self.bn1(x) x = self.relu(x) x = self.maxpool(x) x = self.layer1(x) x = self.layer2(x) x = self.layer3(x) x = self.layer4(x) x = self.avgpool(x) x = paddle.flatten(x, 1) x = self.fc(x) return x def resnet18(num_classes=1000): return ResNet(BasicBlock, [2, 2, 2, 2], num_classes=num_classes) def resnet34(num_classes=1000): return ResNet(BasicBlock, [3, 4, 6, 3], num_classes=num_classes) def resnet50(num_classes=1000): return ResNet(Bottleneck, [3, 4, 6, 3], num_classes=num_classes) def resnet101(num_classes=1000): return ResNet(Bottleneck, [3, 4, 23, 3], num_classes=num_classes) def resnet152(num_classes=1000): return ResNet(Bottleneck, [3, 8, 36, 3], num_classes=num_classes) ``` 以上代码定义了 BasicBlock 和 Bottleneck 两个块，并使用它们构建了 ResNet 模型。其中，ResNet 可以选择使用不同的块和层数来构建不同版本的网络。通过调用 `resnet18()`，`resnet34()`，`resnet50()`，`resnet101()` 和 `resnet152()` 函数可以得到不同版本的 ResNet 网络。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值