笔记：ML-LHY-23: Deep Reinforcement Learning

介绍强化学习的概念
介绍Policy-based Approach算法，关键在于如何理解用采样近似求期望。
pdf 视频1 视频2

Scenario of Reinforcement Learning

强化学习大致流程


强化学习：
输入：Observation(State)
Actor/Policy 产生Action
输出：Action (改变环境)
环境反馈 Reward

Policy-based Approach

参照机器学习3个步骤：

Step 1: define a set of function (Neural network as Actor)

输入：图像 最后转向量或者矩阵输入
输出：对应输入的action

使用神经网络的好处：

1. 输入总有输出
2. NN的特性，比如CNN还有最大池化这些
   所以是比较泛化(generalization)的

Step 2: goodness of function

常规分类器的loss定义，也就是决定好坏

强化学习的loss是在参数$\theta$时的总反馈$R_{\theta }$(reward)

但是就算$\theta$一样，但是$R_{\theta }$每次并不一样，导致的原因：

1. 环境具有随机性
2. Actor也具有随机性

所以是希望得到总反馈的期望${\bar{R}}_{\theta }$

具体步骤可以描述为：

上面：求期望可以近似为采用N次取平均

Step 3: pick the best function

强化学习的loss是总反馈，所以是期望越大越好，所以要做梯度上升(Gradient Ascent)

关键就是怎么对${\bar{R}}_{\theta }$求导？

其实也就是：
$$\frac{\nabla P(\tau \mid \theta )}{P(\tau \mid \theta )}=\frac{1}{P(\tau \mid \theta )}\frac{dP(\tau \mid \theta )}{d\theta }=\frac{dlog(P(\tau \mid \theta ))}{d\theta }=\nabla \log P(\tau \mid \theta )$$

然后也是通过采样N次来近似，注意到最后的近似结果可以写成如下形式：
$$\nabla {\bar{R}}_{\theta }=\frac{1}{N}\sum _{n=1}^{N}R\left({\tau }^n\right)\nabla \log P\left({\tau }^n\mid \theta \right)=\frac{1}{N}\sum _{n=1}^{N}R\left({\tau }^n\right)\frac{\nabla P(\tau \mid \theta )}{P(\tau \mid \theta )}$$
上面的式子本应该：
$R\left({\tau }^n\right)$为正，梯度向上
$R\left({\tau }^n\right)$为负，梯度向下

为什么要除以$P(\tau \mid \theta )$？
除以$P(\tau \mid \theta )$是防止反馈少但是出现次数多的$\theta$

现在的问题变成求：$\nabla \log P(\tau \mid \theta )$

而$P(\tau \mid \theta )$可以变为$p\left(s_1\right){\prod }_{t=1}^{T}p\left(a_t\mid s_t,\theta \right)p\left(r_t,s_{t+1}\mid s_t,a_t\right)$

发现有和$\theta$无关的项，刚好我们的目标函数是对：$\log P(\tau \mid \theta )$求导
所以最后

总结起来就是这样：

和什么要除以$P(\tau \mid \theta )$一样的原因除以$p\left(a_t^n\mid s_t^n,\theta \right)$，注意：
$$\frac{\nabla p\left(a_t^n\mid s_t^n,\theta \right)}{p\left(a_t^n\mid s_t^n,\theta \right)}=\nabla \log p\left(a_t^n\mid s_t^n,\theta \right)$$

总之最后的梯度表达式为：

$$\nabla {\dot{R}}_{\theta }==\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}R\left({\tau }^n\right)\nabla \log p\left(a_t^n\mid s_t^n,\theta \right)$$

回顾分类问题中交叉熵作为损失

如果类标是left，那么就有$\theta \leftarrow \theta +\eta \nabla \log P\left("left"\mid s\right)$

同样类比到强化学习的梯度上升式子中，比如：
输入环境$s_1^1$，期望网络输出就是$a_1^1$

输入环境$s_2^1$，期望网络输出就是$a_2^1$

但是$a_1^1$…$a_2^1$这些不是已经知道了吗，为什么要在使NN去学习？

注意还有$R\left({\tau }^n\right)$，也就是说反馈越好的action，就要NN多次去学习。

Add a Baseline

有些系统的反馈总是正的
sample的$\theta$的reward有多有少，理想情况是各种情况都被sample，所以差异会延续
但是如果有的$\theta$没有被sample，那么它相当于对应的梯度自动减少。

所以提出添加偏移项，从而使有比较小reward变为负数。