Actor and Action Video Segmentation from a Sentence

原创 2018年04月16日 08:40:36

CVPR2018 Oral的一篇关于跨媒体(Video与NLP结合)的文章,paper链接 https://arxiv.org/abs/1803.07485,一作是荷兰阿姆斯特丹大学的PHD,作者的homepage https://kgavrilyuk.github.io/,code和datasets还没有被released出来。
个人瞎扯:这是我见过的第一篇发表出来的用NLP做video segmentetion的文章,其实还有一篇已经挂载arxiv上面了,现在应该是在投ECCV 2018。
文章要做的事情(video segmentation from a sentence)
输入:sentence+video dataset    输出:video mask

可视化的分割结果如下所示。
example of visualized segmentation mask
与state-of-the-art方法定量的对比结果如下所示。
comparision with state-of-the-art

method
video segmentation from a sentence framework如下所示。
video segmentation framework
从这个framework中可以看出,文章主要分为三部分。

  • sentence encoder。首先加padding使所有的sentence长度一样,然后用在Google News dataset上面做fine-tuning的模型提取300-300-Dim的word2ver向量,然后在用1-Dim CNN提取feature。文章在ablation study中做过分析,1-Dim CNN比vanilla LSTM和bidirectional LSTM效果都要好。
  • video encoder。同样是先加padding使所有video的frame一样长,然后再用I3D encoder video,其中有两个trick。
    – 1.在feature map的空间位置上面做L2 Norm。
    – 2.把空间位置作为额外的通道学习空间关系(qualifiers),例如left of,above等等。
  • video mask decoder。直接在video representation基础上采用deconvolutional neural network(kernel size 8 x 8 and stride 4, followed by a convolutional layer with a kernel size of 3 x 3 and a stride of 1),分别采用3个scale(32x32,128x128和512x512)的response map做loss function,highest-resolution response map是final segmentation prediction,其中也有两个trick。
    – 1.tanh activation function and L2-normalization on the features。
    – 2.dynamic filters。

From Microservices to Data Microservices

pivotal云原生活动将与您一起遍览云原生软件的源起 、发展以及交付方法。我们将与您分享云原生软件组织的能力和预期成果,内容涵盖基础设施自动化、容器编排和生命周期管理及应用程序框架。
  • 2016年08月08日 09:18

斯坦福CS231n-2017春季课程全公开,视频+PPT+英文字幕

转需-这是斯坦福最新的2017春季课程,想入手计算机视觉的同学不要错过,随着feifei li成为中国google人工智能研发中心领头人,想象在计算机视觉方面会有很大的促进和提升作用,希望大家共同进步...
  • lahuilei
  • lahuilei
  • 2017-11-28 06:36:12
  • 109

斯坦福CS231n 2017春季课程全公开,视频+PPT+英文字幕

全部课程视频(英文字幕):http://t.cn/R9Dfnxn 所有课程资料、PPT等:http://cs231n.stanford.edu/syllabus.html 课程描述 讲师和助...
  • qq_38906523
  • qq_38906523
  • 2017-08-16 21:11:43
  • 2988

深度学习入门:Fully Convolutional Networks for Semantic Segmentation

深度学习入门:Fully Convolutional Networks for Semantic Segmentation        经典的AlexNet的网络架构模型是conv+poolin...
  • liyaohhh
  • liyaohhh
  • 2016-03-09 18:15:04
  • 6995

王小草【机器学习】笔记--主题模型LDA实践与应用

标签(空格分隔): 王小草机器学习笔记笔记整理时间:2016年12月30日 笔记整理者:王小草1. LDA的实现工具在主题模型LDA的理论篇,长篇大幅的公式与推导也许实在烦心,也不愿意自己去写代码实...
  • sinat_33761963
  • sinat_33761963
  • 2016-12-30 18:12:45
  • 5732

spark提交应用的全流程分析

spark提交应用的全流程分析@(SPARK)[spark]本文分析一下spark的应用通过spark-submit后,如何提交到集群中并开始运行。先介绍一下spark从提交到运行的全流程,下面再详细...
  • jediael_lu
  • jediael_lu
  • 2017-08-05 20:08:14
  • 902

CVPR2017论文分类汇总

Machine Learning 1 Spotlight 1-1A Exclusivity-Consistency Regularized Multi-View Subspace Clusteri...
  • LK274857347
  • LK274857347
  • 2017-08-08 11:30:13
  • 8736

Python 处理医学影像学中的DICOM

DICOMDICOM(Digital Imaging and Communications in Medicine)即医学数字成像和通信,是医学图像和相关信息的国际标准(ISO 12052)。它定义了...
  • jiandanjinxin
  • jiandanjinxin
  • 2017-03-06 17:12:52
  • 2424

CVPR2017 all paper list

本文给出了CVPR2017的最新的paperlist
  • xizero00
  • xizero00
  • 2017-07-26 21:41:41
  • 5286

论文阅读:CVPR2016 Paper list

原文地址:http://blog.csdn.net/xizero00/article/details/51386667 在过几天CVPR2016就要召开了,先放个list。 ORAL ...
  • zr459927180
  • zr459927180
  • 2016-06-14 09:12:27
  • 5628
收藏助手
不良信息举报
您举报文章:Actor and Action Video Segmentation from a Sentence
举报原因:
原因补充:

(最多只允许输入30个字)