强化学习笔记之引论

最近会听一些课结合论文、源码将强化学习核心算法、概念做一个核心的整合

actor的表现有状态、动作、奖励序列构成

让actor去做一个任务，每一个轨迹（可理解为一个过程）有一定概率发生，概率依赖于模型参数，如果actor是一个模型

因此，奖励的期望为：

反复这个过程N次，因为轨迹发生的次数可以近似其概率，因此可以做一个估计：

目标：最大化奖励

采取梯度上升法

推导梯度上升的优化目标：

强化学习过程中奖励是一个偏好模型或者基于规则的奖励，跟模型参数无关；同时用采样多次的均值替换奖励的期望；换成log的求导

接着计算

模型参数为前提的条件概率为，初始状态的概率*根据状态和参数采取行动1的概率*根据行动、状态1转换成状态2，奖励值1的概率...

只有红色的条件概率，即根据状态（actor从环境中的观察）和模型参数采取行动t的概率跟模型参数有关：

取log后再求梯度：

将梯度带入以下式子，可整理成：

以上对奖励的梯度上升很直觉，即根据奖励的正负，决定对当前状态采取当前行动的一个方向，奖励为正，向该行动概率增加的方向优化参数；反之则相反

同时，乘的又是整个轨迹发生的reward，即最终的奖励

同时，这里是一个对log求梯度的好处，在于一个标准化的作用，即模型不会过度侧重概率大的动作的优化：

如果奖励都是正的，会出现几种动作都被优化的情况，不会使得奖励大的概率相对就大：

避免奖励一直是正的，对奖励设置一个基线，防止没有被采样到的高奖励动作没有被优化：

当奖励超过base时向增加其概率方向优化；反之则减少，防止有的轨迹没有被采样到

设置基线的策略：critic，评论家，以计算优势函数，评判actor的动作好的程度，也就是PPO算法中的价值模型