个人笔记---深度学习方向研究生

学习内容：

action detection(行为（动作）检测)
检测方向除了视频还有很多
视频理解方向热点； （定位视频中的存在行为动作的视频段+分类）localization+recognition
研究难点：①时序信息（基本使用RNN读入+CNN提取或者C3D）
②边界不明确（不同于动作识别，动作检测需要精确的动作区间检测，边界的不确定导致mpa偏低）
③时间跨度大，一个行为的时间不等，提取proposal艰难
技术原理：类似与目标检测，均需要先定位目标，然后识别
主要思路：Temporal Proposal提取，然后进行分类和回归

注：①C3D这篇文章看了，不同于DJ同学项目和刘二大人中的CNN所使用的卷积核，先前两位项目代码中的均为2D卷积网络，因为需要处理的都是静态图像，如果使用2DCNN处理视频无法考虑编码在连续多帧之间的运动信息，但是对于视频而言，为了同时保留时序信息（对应难点①）就提出从空间和时间维度提取特征，以此获得多个相邻帧中的编码的运动信息。
2DCNN代码样例:

self.branch5x5_2 = torch.nn.Conv2d(16, 24, kernel_size=5, padding=2)

C3D论文链接：https://blog.csdn.net/sinat_28371057/article/details/113405431?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-113405431-blog-107052789.235%5Ev38%5Epc_relevant_anti_vip_base&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-113405431-blog-107052789.235%5Ev38%5Epc_relevant_anti_vip_base&utm_relevant_index=2

②