强化学习处理影像文献阅读一（1-3）_强化学习图像摘要-CSDN博客

本文链接：https://blog.csdn.net/qq_59782617/article/details/134631170

第一篇：2019基于多智能体强化学习的帧采样有效的未修剪视频识别

Multi-agent reinforcement learning based frame sampling for effective untrimmed video recognition

作者：Wenhao Wu

目的：修剪视频帧提高video的识别精度和效率

方法：使用强化学习作为框架思路设计网络。①先是使用了观察网络对视频特征进行提取，方法是时间段网络和C3D网络，时间段网络tsn可以提取远程时间信息，C3D提取视频时空信息。②策略网络用于估计动作空间上的概率分布，使用的是全连接层。③分类网络计算奖励和得出最终识别结果。使用了多种网络骨干，比较后得出ResNet125效果最好。

网络结构图

数据：ActivityNet数据集

特别地：文献中对策略网络没有仔细的说明。GRU的使用和用法不懂。

结果:设计的结构最好结果达到85.7%

注：1区 Q1。学习指数9。还需要再读

第二篇：2018基于深度强化学习的分类视频摘要

Video summarisation by classification with deep reinforcement learning

作者：Kaiyang Zhou

目的：使用深度强化学习实现弱监督分类视频的摘要

方法：主要思路是：使用深度 Q-Learning(DQSN)网络训练摘要网络，同时还训练一个同伴分类网络为DQSN提取奖励。步骤：①先是使用GoogLeNet提取视频的特征，然后归一化，再作为分类和摘要网络的输入。②训练分类网络，先是使用大数据YouTuBe的619个视频进行预训练，后期再使用目标数据集进行微调。③摘要网络：使用的是DQ-Learning可以用马尔可夫决策过程来描述。输入过程是：摘要网络，结果到分类网络给出分类结果计算奖励返回动作调整策略再修剪。

实验的网络结构

两个网络的架构

数据集：TvSum和CoSum，20+51

特别地：它有三种奖励，全局可识别奖励（分类概率），局部相对重要性奖励（序列次序），无监督奖励（对上面两个的补充）。局部奖励解释如下：通过是否触发秩变化来衡量局部帧的相对重要性确实是一个很好的监督信号，用于训练摘要代理采取正确的行动来保留/删除给定帧。

不足：视频时长有限是短视频的摘要。预训练时1-12分钟，训练目标数据集的视频时长更短了。

结果：与其他网络的视频摘要结果比较：DQSN58.6%优于其他，DR-DSN有竞争力，且与有监督的网络LSTM、GAN比较效果也不差。定性比较：DQSN最好，Backprop-Grad有重复图像，DR-DSN有增加多样性但无关。

注：学习指数：9。也许隐马尔科夫和强化学习不是独立关系。

第三篇：2018基于深度强化学习的多样性和代表性奖励的无监督视频摘要

Deep reinforcement learning for unsupervised video summarization with diversity-representativeness reward

作者：Kaiyang Zhou

目的：使用无监督实现视频摘要

方法：DSN为每个视频帧预测一个概率，该概率表示一帧被选中的可能性，然后根据概率分布采取行动来选择帧，形成视频摘要。在强化学习的框架下无监督的实现视频摘要，DSN深度视频摘要网络为编码解码结构。强化学习中的奖励为多样性奖励div和代表性奖励rep。①先是在编码部分使用GoogLeNet网络提取视频特征；②在解码部分使用BiLSTM基于动作选择帧的概率。③根据概率分布采取行动来选取帧形成摘要。④根据奖励函数调整策略，更改提取摘要。