Two-Stream RNN/CNN for Action Recognition in 3D Videos－阅读笔记

最新推荐文章于 2020-11-24 17:05:56 发布
最新推荐文章于 2020-11-24 17:05:56 发布
阅读量1.6k 收藏 2
点赞数 1
分类专栏： 论文总结 文章标签： 行为识别 3d行为识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddreaming/article/details/78692099
版权

在youtube上看到这篇论文的视频，做的效果还不错，简单阅读一下：
- 视频链接：https://www.youtube.com/watch?v=G0PXKCEgIoA.
- 论文链接：https://arxiv.org/abs/1703.09783
- 该论文在NTU RGB+D 数据集上进行训练和测试
- 该论文整体也是行为识别领域流行的Two-stream结构，不同的是，其中一个stream是通过人体关节点坐标构建的，另一个stream是从RGB图像中提取的特征

算法整体结构

  • 利用人体关节点构建行为特征，输入是两个人的关节坐标构成，即25＊2＝50维，主要使用GRU网络进行特征提取，作者使用两层GRU网络,后经BN层、droupout层。该部分使用tf实现，论文中有详细参数设置情况
  • RGB部分使用3Dcnn模型进行提取
  • 特征融合，该部分作者使用两种方法，一种是使用两个网络分别进行分类，最后将预测得分进行加权求和；另一种如上图所示，直接将两个网络最后一个全链接层的特征进行拼接，得到600+4096=4690维度的特征，然后利用svm分类
  • 本文并没有发表在会议或期刊上，也没有源代码，只是简单阅读了解一下思路
Ddreaming
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[行为识别] Two –Stream CNN for Action Recognition in Videos
faiculty
01-17 5738
这篇文章发表于2014 NIPS。也是牛津大学产出的。在这篇文章出来之前其实也有人尝试用深度学习来处理行为识别，例如李飞飞团队【Large-scale video classification with】通过叠加视频多帧输入到网络中进行学习，但是不幸的是这种方法比手动提取特征更加糟糕。当这篇文章出来以后才意味着深度学习在行为识别中迈出了重大的一步。 一、前言 这里主要阐述了论文的三个主要贡献点...
视频行为识别检测综述 IDT TSN CNN-LSTM C3D CDC R-C3D
热门推荐
万有文的博客
06-20 14万+
本文github地址 Video Analysis之Action Recognition(行为识别) 行为识别就是对时域预先分割好的序列判定其所属行为动作的类型，即“读懂行为”。 [行为检测|论文解读]行为检测调研综述 较新 基于Deep Learning 的视频识别技术 科研成果—-中国科学院深圳先进技术研究院 面向人体姿态行为理解的深度学习方法 CVPR 2014 Tut...
text-classification-cnn-rnn-master_RNN_CNN_
10-02
基于TensorFlow在中文数据集上的简化实现，使用了字符级CNN和RNN对中文文本进行分类，达到了较好的效果。
视频动作识别调研（Action Recognition）
qq_41590635的博客
09-26 9882
视频动作识别调研（Action Recognition） 本文首发于微信公众号“StrongerTang”，可打开微信搜一搜，或扫描文末二维码，关注查看更多文章。 原文链接：(https://mp.weixin.qq.com/s?__biz=Mzg3NDEzOTAzMw==&mid=2247483899&idx=1&sn=da9ad193c218c0321b4486d09e...
行为识别Action Detection概述及资源合集（持续更新...）
Gavinmiaoc的博客
07-24 2万+
随着深度学习技术的发展，以及计算能力的进步（GPU等），现在基于视频的研究领域越来越受到重视。视频与图片最大的不同在于视频还包含了时序上的信息，此外需要的计算量通常也大很多。 这篇主要介绍Action Recognition（行为识别）这个方向。这个方向的主要目标是判断一段视频中人的行为的类别，所以也可以叫做Human Action Recognition。虽然这个问题是针对视频中人的动作，但基...
行为检测调研
zk_ken的博客
01-23 1199
背景 视频理解是目前计算机视觉领域非常热，也是极具挑战力的一个方向。视频理解方向包含众多的子研究方向，以CVPR组织的ACTIVITYNET为例，2017年总共有5个Task被提出。 Task1：未修剪视频分类(Untrimmed Video Classification)。这个有点类似于图像的分类，未修剪的视频中通常含有多个动作，而且视频很长。有许多动作或许都不是我们所关注的。所以这里提...
cnn 示意图_Two-Stream CNN（双流CNN）介绍(NIPS2014)
weixin_39564527的博客
11-24 1177
文章：Two-Stream Convolutional Networks for Action Recognition in Videos(NIPS2014)链接：https://arxiv.org/abs/1406.2199虽然在2013年就在人类行为识别的一篇文章中提出了3D卷积的内容，但效果并不好，直到这篇文章出来以后才意味着深度学习在行为识别中迈出了重大的一步。主要贡献点：1、首先，我们提...
Two-Stream Convolutional Networks for Action Recognition in Videos算法笔记
AI之路
12-08 1万+
论文：Two-Stream Convolutional Networks for Action Recognition in Videos 链接：https://arxiv.org/abs/1406.2199 这篇文章是NIPS 2014年提出一个two stream网络来做video action的分类，比较经典。two stream表示两个并行的网络：spatial stream conv
Two-Stream SR-CNNs for Action Recognition in Videos
bojackhosreman的博客
06-01 1358
paper：http://www.bmva.org/bmvc/2016/papers/paper108/index.html code：https://github.com/yifita/action.sr_cnn 三作主页：http://wanglimin.github.io/Two-Stream SR-CNNs for Action Recognition in Videosdataset
[深度学习论文笔记][Video Classification] Two-Stream Convolutional Networks for Action Recognition in Videos
Hao_Zhang_Vision的博客
11-17 1935
Simonyan, Karen, and Andrew Zisserman. “Two-stream convolutional networks for action recognition in videos.” Advances in Neural Information Processing Systems. 2014. (Citations: 425). 1 Motivati
two-stream-cnn-master MNIST-example
04-21
two-streamtwo-streamtwo-streamtwo-streamtwo-streamtwo-streamtwo-streamtwo-streamtwo-streamtwo-stream
Two-Stream-Convolutional-Networks-masterTwo-Stream-Convolutional-Networks-master
04-21
Two-Stream-Convolutional-Networks-masterTwo-Stream-Convolutional-Networks-master
Two-Stream-CNN:在Keras中实现的两个Stream CNN结合使用基于骨架的动作识别和数据集NTU RGB + D
04-29
Keras中的两流CNN工具 在的基于骨架的动作识别中，提出了两流CNN，用于基于骨架的动作识别。 它将骨架序列映射到图像（坐标x，y，z到图像R，G，B）。 他们专门设计了骨架变压器模块，以自动重新排列和选择重要的骨架关节。 要求 Python3 凯拉斯 h5py matplotlib 麻木 网络架构 该网络主要由Skeleton Transformer ， ConvNet ， Feature Fusion和Classification四个模块组成。 两个流的输入分别是原始数据（x，y，z）和帧差。 如下图所示： 用法 function / data_generator.py ：生成两个流的输入numpy数组 layer / transformer ：Keras中的Skeleton Transformer工具层 网络/ ：褶皱有四只苍蝇，具有不同的特征融合方式 结果 模型 准确度（
基于Keras的CNN-1D-RNN-CTC语音识别系统设计源码
04-15
基于Keras的CNN-1D-RNN-CTC语音识别系统设计源码，该项目包含31个文件，主要文件类型有26个python源文件，以及1个gitignore文件用于版本控制。此外，还包括1个LICENSE许可文件，1个Markdown文档用于项目说明，以及1...
CNN+RNN.zip_CNN RNN_CNN-_CNN-RNN_rnn 识别_rnn训练时间
07-15
行人再识别 CNN+RNN 亲测有效，训练时间短
在UCF101上使用3D CNN/CNN + RNN进行视频分类/动作识别的教程-python
06-18
在UCF101上使用3D CNN/CNN + RNN进行视频分类/动作识别的教程视频分类 该存储库使用 UCF101 和 PyTorch 为视频分类（或动作识别）构建了一个快速而简单的代码。 视频被视为一个 3D 图像或几个连续的 2D 图像（图 1）...
颜色分类leetcode-3d-cnn-action-recognition:在UCF-101数据集上使用3DConvnet实现动作识别
07-06
（仅允许密集层卷积层（2D/3D）和池化层（2D/3D）。） 要求 Python3 opencv3（带 ffmpeg）、keras、numpy、tqdm 选项 3dcnn.py 的选项如下： --batch批量大小，默认为 128 --epoch历元数，默认为 100 --videos存储...
行政数据分析看板8.xlsx
最新发布
04-26
Excel数据看板，Excel办公模板，Excel模板下载，Excel数据统计，数据展示
自动驾驶运动规划(Motion Planning).pdf
04-26
自动驾驶运动规划(Motion Planning)问题分析
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
以下是对上述100个缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值