电影/video summarization

8 篇文章 0 订阅
2 篇文章 0 订阅

1.《2021-aaai-Movie Summarization via Sparse Graph Construction》
在这里插入图片描述
主要思想:利用电影的转折点,进行电影内容总结
步骤:

  1. 电影的每个scene代表图中的一个节点。首先构建全连接图,然后根据scene之间的相似性(公式1和公式3)(text相似性和audiovisual相似性,公式2),为每个节点动态挑选k个邻居节点。
  2. 将所有节点通过一层GCN
  3. 蒸馏学习。利用唯一有转折点标记的数据集TRIPOD,先获得一个概率分布q(yt|D),再用两个loss训练(公式5和6)

2. 《2021-iccv-What You Say Is Not What You Do:
Studying Visio-Linguistic Models for TV Series Summarization》

在这里插入图片描述
分别用VisualBERT和VilBERT预训练模型,构建了一个新的电视剧summarization数据集CSI?完。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值