顺序以周博磊老师强化学习纲要课程为主,增加王树森老师强化学习基础的知识补充,和蘑菇书的知识补充,作为学习记录
第五章:策略优化基础
主要内容:
- 基于策略优化的强化学习
- 常见策略优化算法:Policy Gradient
- 存在问题及解决办法
- Actor-critic
一、基于策略函数的强化学习
- 回顾
- 基于价值函数的RL:
- 得到Q函数,对Q函数进行优化,获得Q值极大的动作
- 实际上,更重要的是策略,基于价值函数的最终目的也是获得使价值函数最高的策略,属于隐式的学习策略函数
- 得到Q函数,对Q函数进行优化,获得Q值极大的动作
- 对比:
- 基于价值函数的RL
- 学习价值函数
- 通过价值函数隐式学习策略
- 基于策略函数的RL
- 不学习价值函数(即不关注某个状态的价值)
- 直接学习策略函数
- Actor-Critic 既学习价值函数又学习策略
- 基于价值函数的RL
- 基于价值函数的RL:
- 基于策略函数的优化
- 优势:
- 强化学习中基于策略函数进行优化会使得优化更容易
- 无论数据多少都可以得到一个策略函数,数据越多效果越好(而在价值函数中,为了完成对Qtable的估计,是需要有很多数据的)
- 策略梯度方法在高维空间更有效(相对于高维动作空间,value只有单值,过于稀疏,而policy是向量)
- 策略梯度方法输出是概率(随机策略)(stochastic policy)(概率的优势会在之后提到)
- 缺点:
- 经常得到局部最优解,而不是全局最优解(因为建模时用的不是最优函数)
- 方差较大,导致结果不够稳定
- 分类:
- Determinstic policy:输出是一个确定的行为
- Stochastic policy:输出是各个行为的概率,执行时通过概率对行为进行采样
- 在某些场景中确定策略更容易输,随机策略才是最佳策略(优势之一)
- Determinstic policy:输出是一个确定的行为
- 优化方法
- 优化策略实际优化的客观函数:π_θ(s,a)
- 如何衡量策略π_θ的价值?
- 在可结束回合中:取得开始的价值
- 在连续环境中
- 使用平均价值:
- 每一步获得的平均奖励
- 其中d是指当马尔可夫链到达稳态后,每个状态出现的概率
- 使用平均价值:
- 从轨迹τ的角度来说(
- 在可结束回合中:取得开始的价值
- 优势: