结合目标检测与多3DCNN的行为识别

最新推荐文章于 2024-09-06 14:42:00 发布
最新推荐文章于 2024-09-06 14:42:00 发布
阅读量7.2k 收藏 33
点赞数 1
分类专栏： DL&ML相关 文章标签： 深度学习 python 行为识别 3DCNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Atwood_song/article/details/79001966
版权
该博客介绍了一种结合SSD目标检测和3DCNN的行为识别方法。首先，通过SSD检测人体并抠图，再训练两个3DCNN模型分别处理原始帧和crop图像。特征提取后进行融合，最后利用SVM进行分类。在KTH数据集上进行实验，结果显示融合特征的正确率为87.44%，优于单独使用原始帧或crop帧的特征。
摘要由CSDN通过智能技术生成

主要思路：利用SSD目标检测检测人体，并将人体图抠出来，然后对原始帧和人体crop图像分别训练一个3DCNN，然后把这两个3DCNN作为特征提取器，分别提取原始帧和crop帧的特征，接着将特征进行融合，最后用SVM进行分类。

代码地址：Multi-3DCNN-for-action-recognition

主要流程如下图所示：



使用的是kth数据集，这个程序目前只能用于kth数据集，因为kth数据集每个视频中只有一个人。

训练3DCNN的时候，数据集的划分如下：

每个动作是由25个人完成，与一般论文中对kth的处理一致，前16个人作为训练，后9个人作为测试。

提取特征进行svm分类时，训练集与测试集也是前16个人作为训练，后9个人作为测试。

从每个训练集中的视频随机取出四段连续的16帧视频作为训练样本，从每个测试集中的视频随机取出一段连续的16帧视频帧作为测试样本。

因此总训练样本数为 16x4x4x6 = 1536，测试样本为：9x4x1x6-1=215

具体细节可看代码中

最低0.47元/天 解锁文章
Atwood_song
关注
专栏目录
群体行为识别深度学习方法研究综述
weixin_70923796的博客
12-26 1000
重点介绍了以卷积神经网络CNN/3DCNN、双流网络Two-Stream Network、循环神经网络RNN/LSTM和Transformer等网络架构为基础的,主流群体行为识别算法的核心网络架构和主要研究思路,对各算法在常用公共数据集上的识别效果进行了对比;行为识别领域缺乏大规模的、具有统一规范标准的、多实际应用场景的、行为类别及组成标注更为详细丰富的通用数据库。对群体行为的识别与理解包含了对参与个体的检测、个体级别的行为识别与场景级别的行为识别。例如经过的汽车的遮挡、建筑物上动态广告屏的干扰等。
基于深度卷积神经网络的目标检测研究综述
m0_62870606的博客
02-11 4828
基于深度卷积神经网络的目标检测研究综述 人工智能技术与咨询 来自《光学精密工程》，作者范丽丽等 摘要：作为计算机视觉中的基本视觉识别问题，目标检测在过去的几十年中得到了广泛地研究。目标检测旨在给定图像中找到具有准确定位的特定对象，并为每个对象分配一个对应的标签。近年来，深度卷积神经网络DCNN(Deep Convolutional Neural Networks)凭借其特征学习和迁移学习的强大能力在图像分类方面取得了一系列突破，在目标检测方面，它越来越受到人们的重视。因此，如何将CNN应用于目..
视频监控中的目标检测与行为分析
03-31
。该系统以运动目标的 检测和跟踪模块为基础，对监控中运动目标产生的行为进行定义和识 别，当有周边入侵，展览区域抗违规等违规行为发生时，自动的进行行 为识别和实时报警，并且抓取事件发生时的图像，定位违规目标，能够 使监控人员迅速的做出反应
融合人体姿态估计和目标检测的学生课堂行为识别
张伟的专栏
10-03 9515
正在上传…重新上传取消正在上传…重新上传取消正在上传…重新上传取消正在上传…重新上传取消正在上传…重新上传取消正在上传…重新上传取消正在上传…重新上传取消摘要： 在課堂教学中 ， 人工智能技术可以帮助实现学生行为分析自动化 ， 让教师能够高效且直观地掌握学生学习行为投入的情况 ， 为后续优化教学设计与实施教学干预提供数据支持.构建了学生课堂行为数据集 ， 为后续研究工作提供了数据基础;提出了一种行为检测方法及一套可行的高精度的行为识别模型 ， 利用 OpenPose 算法提取的人体姿态全局特征 ， 融合 Y
3D目标检测
最新发布
qq_34717531的博客
09-06 448
值得注意的是，PillarHist仅在PFE阶段操作以增强性能，可以无缝集成到现有的基于柱状结构的方法中，而不引入复杂的操作。3）背景：最近，基于柱状结构的3D目标检测器因其紧凑的表示和低计算开销而备受关注，适合在车载部署和量化方面使用。然而，现有的基于柱状结构的检测器在柱状特征编码（PFE）过程中仍然存在高度维度信息丢失和数值分布差异大的问题，严重限制了它们的性能和量化潜力。它通过统计柱状内不同高度处点的离散分布，保留了更多的高度信息，减少了计算开销，同时优化了数据的量化表现。1）方向：3D目标检测。
【项目实战课】基于Pytorch的3DCNN视频分类与行为识别实战
hacker_long的专栏
02-18 2865
欢迎大家来到我们的项目实战课，本期内容是《基于Pytorch的3DCNN视频分类与行为识别实战》。所谓项目实战课，就是以简单的原理回顾+详细的项目实战的模式，针对具体的某一个主题，进行代码...
基于深度学习的CT图像肺结节自动检测技术五—训练三维卷积神经网络(3dcnn)模型
红叶谷 wsp_1138886114的博客
09-21 7395
实现3dcnn的网络结构，并加载预训练好的权重 开发环境jupyter notebook import os import random from keras import backend as K from keras.layers import Input, Convolution3D, MaxPooling3D, Flatten, Dropout,\ ...
视频行为识别检测综述 IDT TSN CNN-LSTM C3D CDC R-C3D
热门推荐
万有文的博客
06-20 14万+
本文github地址 Video Analysis之Action Recognition(行为识别) 行为识别就是对时域预先分割好的序列判定其所属行为动作的类型，即“读懂行为”。 [行为检测|论文解读]行为检测调研综述 较新 基于Deep Learning 的视频识别技术 科研成果—-中国科学院深圳先进技术研究院 面向人体姿态行为理解的深度学习方法 CVPR 2014 Tut...
基于深度学习的视频中人物跌倒检测系统
05-29
3. 行为识别：基于深度学习的行为识别模型，如I3D、TBN等，能够从连续的帧序列中学习和识别跌倒行为。这些模型通常会在预训练的大型动作识别数据集上进行微调，以适应特定的跌倒检测任务。 4. 异常检测：除了识别...
基于深度学习的肺部CT影像识别——采用U-net、3D CNN、cGAN实现肺结节的检测（二）
liuz_notes的博客
06-08 8393
上一节中介绍了U-net在肺结节分割提取中的原理，能有效提取出候选结节。然而，由于结节形态特征的高度变异性和将其误认为邻近器官的可能性，原本不是结节的目标通过模型预测得到的结果被划定为结节。为了解决较高的假阳性问题，本文利用多尺度三维卷积神经网络来进行假阳性过滤，根据Bum-Chae Kim等人的开源代码，做了复现工作，实现了假阳性过滤。
利用tensorflow实现3DCNN
04-25
Tensorflow 3D CNN
用CNN识别CT图像检测肺癌
RookieFCB的专栏
04-18 1万+
用CNN识别CT图像检测肺癌原文：2nd place solution for the 2017 national datascience bowl 翻译参考：知乎用户王小新 Kaggle百万美元大赛优胜者：用CNN识别CT图像检测肺癌概要本文为2017年由Kaggle举办的数据科学竞赛的第二名获奖者Julian de Wit的部分解决方案。Julian de Wit和Daniel Hammack
python图像人类检测_OpenCV人类行为识别（3D卷积神经网络）
weixin_39788131的博客
12-06 883
1. 3D卷积神经网络相比于2D 卷积神经网络，3D卷积神经网络更能很好的利用视频中的时序信息。因此，其主要应用视频、行为识别等领域居多。3D卷积神经网络是将时间维度看成了第三维。人类行为识别的实际应用：安防监控。(检测识别异常行为：如打架，偷东西等)监视和培训新人工作来确保任务执行正确。(例如，鸡蛋灌饼制作程序：和面，擀面团，打鸡蛋，摊饼等动作)判断检测食品服务人员是否按规定洗手。自动对视频数据...
目标检测（Object Detection）
JUST CODE IT
06-30 676
计算机视觉包括图像分类、物体检测识别、语义分割、实例分割4个基本任务 其中 1）图像分类：一张图像中是否包含某种物体 2）物体检测识别：分为目标检测和目标识别两个部分，首先检测出图像中某一块存在的目标和位置，然后识别出该图像属于的类别 3）语义分割：根据图像的内容进行分割，分割的依据是内容。 4）实例分割：按照对象的个体进行分割 如下图所示: 目标检测的基本思路：同时解决定位（l...
CNN提取图片特征，之后用SVM分类
qq_27756361的博客
05-28 5万+
先用CNN提取特征，之后用SVM分类，平台是TensorFlow 1.3.0-rc0，python3.6 参考链接点击打开链接# coding=utf8 import random import numpy as np import tensorflow as tf from sklearn import svm right0 = 0.0 # 记录预测为1且实际为1的结果数 error0 =...
R-CNN中的SVM理解
lyychlj的博客
06-29 2534
参考自：（二）目标检测算法之R-CNN - 胖白白 - 博客园 (cnblogs.com) (1条消息) R-CNN算法学习（步骤三：SVM分类）_Dlog的博客-CSDN博客_rcnn svm SVM是一个二分类器，针对固定类别，比如猫，理想情况下，输入一个n维的特征向量，输出是0表示该物体不是猫，输出为1表示该物体是猫。在训练一个SVM时首先要准备好多训练样本，这些训练样本分为两个部分，输出为1的属于正样本，输出为0的表示负样本。利用这些样本训练完一个SVM二分类器后，输入一个检测数...
3D CNN框架结构各层详细计算过程
u014154380的博客
10-30 4166
2D CNN和3D CNN的区别2D CNN： 利用2D CNN对视频进行操作，一般是对视频的每一帧图像分别利用CNN来进行识别，这种方式的识别不会考虑时间维度的帧间运动信息。以下是传统2D CNN对图像采用2D卷积核进行操作的示意图： 3D CNN： 使用3D CNN能更好的捕获视频中的时间和空间的特征信息，以下是3D CNN对图像序列（视频）采用3D卷积核进行卷积操作： 上面进行卷积
视频目标检测识别
gulingfengze的博客
03-25 3万+
之前文章目标检测API 已经介绍过API的基本使用，这里就不赘述了，直接上本次内容的代码了，添加的内容并不多。将测试的test.mp4原文件放到models-master\research\object_detection路径下，并创建一个detect_video.py文件，代码内容如下： import os import cv2 import time import argparse im...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值