- 收集有标签数据比较困难的时候
- 同时也不知道什么答案是比较好的时候
- 可以考虑使用强化学习
- 通过互动,机器可以自己知道什么结果是好的,什么结果是坏的
Outline
什么是RL
- Action就是一个function
- Environment就是告诉这个Action是好的还是坏的
例子 Space invader
- 只能左移动,右移动,开火
- 任务就是杀死外星人
- 奖励就是分数
- 终止:杀死所有的外星人,或者自己被外星人杀死
- 找到一个function使得得分总和最大
例子:Play Go
- 下围棋的score只有在游戏结束的时候才有分数,+1, -1, 0
- 中间时刻是没有得分的
RL和ML关系
Step1: 未知数的Function
- 在RL中,未知数的Function就是Action
- 输入是网络观察到的
- 输出是每个动作的反馈
- 分数就是激励,基于分数去有概率的随机性采取对应的行动,增加多样性
Step2:定义Loss
- 把所有的reward进行累加作为最终分数
- Loss就是要最大虾该总和分数
Step3:优化器
- 给定的随机行为,有随机的反应
- 如何找到一组参数去使得分数越大越好
- 类比于GAN,但是Reward和env不能当作是network,是一个黑盒子
Policy Gradient
如何控制你的action
- 希望采用的模型,可以类比一个分类器
- 希望不采用什么动作的模型,可以使用上面取反
- 使得e1越小越好,使得e2越大越好
收集一些训练数据
但不一定是只有两种情况,不是二分类问题,可以采用不同的数字表示不同程度的期待
定义
版本1
随机的Action得到结果,然后进行评价正负
- 该版本不是一个好的版本
- 短视近利的Action,没有长远规划
- 每个动作都影响后续的动作
- 奖励延迟,需要牺牲短期利益获得长远利益
版本2
- 把每个动作之后的分数都加起来作为该动作的分数
版本3
- 相邻的动作影响更大一点,越远的距离的动作影响越小
版本4
- 需要对分数进行标准化,减掉一个baseline b,使得分数有正有负
Policy Gradient
- 收集资料是在epoch循环中
- 每次Update之后需要重新收集资料
- RL训练非常耗时
同一种行为对于不同的s是好坏是不一样的,是一个连续的。
- off-policy可以不用在更新前收集资料了,只需要收集一次
- 增加随机性,尝试不同的action
PPO
Actor critic
Critic
MC方法
完成游戏最终结果才知道
TD方法
二者做查,越接近越好,
r
t
r_t
rt是知道的,这种方法不用知道最后结果
MC vs TD
如果表现比平均好,at大于0,如果小于平均值,则at小于0
Tip of actor critic
会共用一些参数
DQN
Reward Shaping
大部分reward是0的时候,就是稀疏reward,需要定义一些额外的reward
给机器加上好奇心,看到新的东西就加分,有意义的新东西
No Reward
凭借专家的示范进行学习
专家的样本比较少
机器复制专家的任何行为,即使是不合理的动作
让机器自己定reward,从专家的示范反推reward function,然后给予这些reward进行学习
与GAN的过程有点类似
教机器摆盘子,倒东西,先示范20次