本文详细介绍了强化学习（RL）的基本概念，包括RL的框架、Policy Gradient方法，重点讨论了Actor-Critic算法，包括Value Function的估计、优化策略以及解决稀疏奖励问题的Reward Shaping和逆向增强学习。通过模仿学习，解决无明确奖励场景下的学习问题。
一、RL是什么
当人类也不知道正确答案是什么的时候，适合用RL，机器知道哪一步是合适的。
二、RL的框架
1、第一步：Function with unknown
以空间入侵游戏为例：
输入的是游戏画面，输出是不同行为的概率（相同的输入可能有不同的输出，输出具有随机性）
2、第二步：定义损失函数
看到一个游戏画面会产生行为然后会产生游戏的reward，再接下去另一个游戏画面输出行为，一直持续到游戏结束，将所有的reward相加，并且最大化reward，RL的损失函数为负的Total reward。
3、第三步：Optimization
- 环境和actor都具有随机性
三、Policy gradient
（1）如何控制你的actor
- 对于一个具体的观察如果要有一个固定的行为，就使损失函数越小越好
- 如果是不要采取一个行为，就使损失函数越大越好
即：
a、收集训练资
最低0.47元/天 解锁文章
151
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
