Unsupervised Learning of Visual Representations Using Videos
Xiaolong Wang, Abhinav Gupta
文章链接
这篇文章技术都是老技术,idea也很容易想。比较中规中矩的一篇文章。现在做视频unsupervised learning的想法都是先通过视频的连续性,通过帧间的关系,判断相邻帧同时出现但有点差异的两个区域是否是一个物体作为supervised learning的label。这篇文章对当前新潮的技术进行了组合。
1.通过patch tracking得到训练图像。由于youtube视频分辨率比较低,噪声大,论文没有采用optical flow的方法,而是采用了Improved Dense Trajectories来跟踪移动的物体。
2.Siamese Triplet Network。不赘述了,已经存在很多。
3.Hard Negative Mining。这一步主要是提高CNN收敛速度采用的,最近两年的paper也比较常见。
总体来说,组合的还是不错的。