VALSE学习（十八）：复杂视频的深度高效分析与理解方法

VALSE2019  中科院乔宇老师

一、论文主题

在报告中，乔老师首先回顾了深度网络的结构演化AlexNet、GoogLeNe、VGGNet、ResNet、DenseNet，给出深度网络发展的几个重要方法：

• 优化（optimization），主要包括ReLu、Batch Normalization、Stage-wise training（or better initialization）、Identity Connection in ResNet.

•  过拟合overfitting，包括Dropout，Data Argumentation

•  结构设计Architecture Design，包括3×3 Layer in VGG，Inception Module以及ResNet Block

• 轻量级Light parameter，包括3×3 Conv in VGG，1×1 Conv+Bottleneck。

乔老师作为国内视频行为识别的大佬，分享了自己视觉生涯的三个阶段，其谈到CV是一个长期充满挑战且十分具有前景的研究领域，希望广大学生脚踏实地的做研究。在第一阶段的山脚（~2011年），主要采用传统方法去处理视觉的难题（检测、分割等），效果不如人意；在第二阶段的爬坡期（2012年后的深度学习），深度学习方法极大地推动了视觉各项任务的发展；在第三阶段的登顶期（未来），将朝着超级视觉去发展（本人理解为多模态融合的视觉技术）。

 

随后，乔老师分享了人脸检测（MTCNN、ICC-CNN）和人脸识别的一些工作。重点从人脸识别的loss发展进行了分享，从早期的softmax Loss、Contrastive Loss、Tripetloss、Center loss的系列改进。

 

在视频行为识别与理解方面，乔老师分享了一系列他们实验室的工作，包括：2013年的视频中层表示与结构模型、2014年的轨迹卷积特征TPD以及视频特征编码学习、2016年的运动向量网络EMV-CNN和时序分割模型TSN，以及2017年后的姿态递归注意网络RPAN和非监督强化视频概要。