学习内容:
action detection(行为(动作)检测)
检测方向除了视频还有很多
视频理解方向热点; (定位视频中的存在行为动作的视频段+分类)localization+recognition
研究难点:①时序信息(基本使用RNN读入+CNN提取或者C3D)
②边界不明确(不同于动作识别,动作检测需要精确的动作区间检测,边界的不确定导致mpa偏低)
③时间跨度大,一个行为的时间不等,提取proposal艰难
技术原理:类似与目标检测,均需要先定位目标,然后识别
主要思路:Temporal Proposal提取,然后进行分类和回归
注:①C3D这篇文章看了,不同于DJ同学项目和刘二大人中的CNN所使用的卷积核,先前两位项目代码中的均为2D卷积网络,因为需要处理的都是静态图像,如果使用2DCNN处理视频无法考虑编码在连续多帧之间的运动信息,但是对于视频而言,为了同时保留时序信息(对应难点①)就提出从空间和时间维度提取特征,以此获得多个相邻帧中的编码的运动信息。
2DCNN代码样例:
self.branch5x5_2 = torch.nn.Conv2d(16, 24, kernel_size=5, padding=2)
C3D论文链接:https://blog.csdn.net/sinat_28371057/article/details/113405431?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-113405431-blog-107052789.235%5Ev38%5Epc_relevant_anti_vip_base&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-113405431-blog-107052789.235%5Ev38%5Epc_relevant_anti_vip_base&utm_relevant_index=2
②