1.《2021-aaai-Movie Summarization via Sparse Graph Construction》
主要思想:利用电影的转折点,进行电影内容总结
步骤:
- 电影的每个scene代表图中的一个节点。首先构建全连接图,然后根据scene之间的相似性(公式1和公式3)(text相似性和audiovisual相似性,公式2),为每个节点动态挑选k个邻居节点。
- 将所有节点通过一层GCN
- 蒸馏学习。利用唯一有转折点标记的数据集TRIPOD,先获得一个概率分布q(yt|D),再用两个loss训练(公式5和6)
2. 《2021-iccv-What You Say Is Not What You Do:
Studying Visio-Linguistic Models for TV Series Summarization》
分别用VisualBERT和VilBERT预训练模型,构建了一个新的电视剧summarization数据集CSI?完。