[转载]李宏毅RL网课笔记

李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071

李宏毅深度强化学习笔记（一）Outline
概述强化学习，及policy-based、value-based的方法

李宏毅深度强化学习笔记（二）Proximal Policy Optimization (PPO)
episide、trajectory等术语，policy gradient的原理，on-policy和off-policy
important sampling，PPO算法

李宏毅深度强化学习笔记（三）Q-Learning
引入状态价值函数和动作价值函数，提到了估计状态价值函数的两种方法：基于蒙特克罗的方法（MC）和时序差分方法（TD）。
Q-learning的算法流程，Target network和replay Buffer的方法
Double DQN、Dueling DQN、Prioritized Experience Replay、Multi-step:Combination of MC and TD
Distributional Q-function、Rainbow
连续行动下的QL

李宏毅深度强化学习笔记（四）Actor-Critic
结合Policy gradient和Q-learning，用QL的V函数和Q函数来替换policy gradient公式里面的累积reward和baseline
Advantage Actor-Critic、Asynchronous Advantage Actor-Critic (A3C)
Pathwise Derivative Policy Gradient

李宏毅深度强化学习笔记（五）Sparse Reward
处理动作空间太大，大部分动作的reward均为0的情况。
好奇法、ICM函数、课程式学习、级联强化学习

李宏毅深度强化学习笔记（六）Imitation Learning
模仿学习 Imitation Learning、Inverse Reinforcement Learning (IRL)

李宏毅深度强化学习课件