题目
《Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward》
《具有多样-代表性奖励机制的无监督视频摘要深度强化学习》
期刊/会议名称(时间)
2018 AAAI会议
数据
SumMe、TVSum视频数据集
公开视频数据集:视频数据集
源代码:论文源代码
研究问题
基于无监督视频摘要的生成
研究方法(相关技术)
1、提出基于深度强化学习的视频摘要网络(DSN),并拓展加入多样性、代表性奖励函数(DR-DSN)。
2、DSN的编码-解码结构:编码:CNN,解码:LSTM。
网络结构:
实验结果:
注:灰色区域为原视频的高亮处,监督的DR-DSN匹配度最好。
创新
1、使用基于强化学习的无监督视频摘要生成(一般的摘要生成都是基于监督学习)
- 强化学习:数据与模型动态交互。基于原数据模型生成结果,结果又来反馈模型(比如改变某些参数值)
思考
1、使用的数据集少,只在两个数据集实验
2、摘要生成未考虑情感因素(文字情感)