I3D与T3D读后笔记

I3D

论文：《Quo Vadis ,Action Recognition? A New Model and the Kinetics Dataset》

这篇论文的主要内容分为3个部分：
1、介绍了Kinetics数据集。
2、提出了一种用imageNet数据集预训练3D卷积模型的方法，避免了3D卷积模型从0开始训练。
3、构建了3D卷积的双流结构。在UCF-101上测试出准确率高达98%的好效果。

Kinetics数据集

这个数据集有400个人物动作类，每个类有400个视频剪辑。它比UCF-101和HMDB-51高出了两个数量级。这个数据集在当时被提出来时挺新鲜的，但现在用它做实验的也挺多的了。作者在论文中像用它做之前各种流行模型做预训练，然后再用UCF-101和HMDB-51上做训练和测试，比较精确度的提高。

imageNet数据集预训练

用imageNet数据集做预训练在2D卷积模型（视频中人物动作识别）经常用到，它可以有效的减小了了视频数据集数量小而产生过拟合的缺点。但imageNet数据集毕竟都是图片，3D卷积模型附加了内核维度，所以这给获取imageNet训练来的参数造成了困难。但作者想到了一个很奇特的方法：用把多个相同的图片当视频的帧堆叠在一起，构成一个无聊的视频。这样就可以把imageNet数据集变成一个由无聊视频组成的数据集。用无聊视频做预训练可以获得我们想要从学习图片中得到的参数。

模型构建

作者在很多模型上做了实验，这些模型分别学习了imageNet数据集上的二维参数，在Kinetics数据集上进行了预训练，用UCF-101和HMDB-51进行训练和测试，