Self-supervised and unsupervised learning for video

目录

 

ActBERT: Learning Global-Local Video-Text Representations（cvpr2020）

Self-supervised learning using consistency regularization of spatio-temporal data augmentation for action recognition（STCR）

Temporal Cycle-Consistency Learning（Google Brain）

Unsupervised leaning of visual representation using videos

Learning Video Object Segmentation from Unlabeled Videos

Self-Supervised Video Representation Learning with Space-Time Cubic Puzzles

Other methods

---

ActBERT: Learning Global-Local Video-Text Representations（cvpr2020）

背景：

1. 在教做菜的视频中，视频创作者会描述，“开始切胡萝卜”，往往人物也是在正进行“切胡萝卜”的动作。这种天然的视觉对应关系，是进行视频文字自监督学习的重要要素。其中文字描述可以通过自动语音识别技术（ASR）从视频中或从创作者上传的字幕中提取文字。这样成对的视频文字数据就产生了。 
2. 为了解决视觉特征无法做分类预测的问题，VideoBERT 使用了 hierachical k-means 的方法将视觉特征进行离散化，这样每个数据特征都对应一个离散的视觉中心。

idea：在输入层同时加入全局动作特征与局部区域特征。

论文链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Zhu_ActBERT_Learning_Global-Local_Video-Text_Representations_CVPR_2020_paper.pdf

参考：https://www.jiqizhixin.com/articles/2020-07-20-8

 

Self-supervised learning using consistency regularization of spatio-temporal data augmentation for action recognition（STCR）

分为两个Branch, 一路Clean表示普通的Video,另一路表示引入Noise之后的, 2路不同的输入经过3D Backbone之后，我们希望feature 在 temporal-level和feature-level保持consistency。