百度飞浆强化学习心得与实例分享

前段时间先参加了《百度架构师手把手教深度学习》的课程，认识了百度飞浆平台；这期看到了强化学习的项目，于是参加了飞桨深度学习学院的《强化学习7日打卡营-世界冠军带你从零实践》课程，接触到了强化学习这个领域。过程中，科科老师带我们学习了强化学习的思想，并使用PARL框架做了若干实践。

最开始是被科科老师第1节课的这两个强化学习的游戏惊艳到了：

接着由浅入深地按照课程安排逐步学习RL的经典模型，Sarsa、Q-learning、DQN、Policy Gradient、DDPG；飞浆的PARL是一个超级强大的库，利用好能解决很多实际的问题。

 

 一、强化学习(RL)初印象 

RL 概述、入门路线
实践：环境搭建
课后作业：搭建GYM环境+PARL环境，把QuickStart 跑起来

入门前有课前作业，完成波士顿房价线性回归，

https://aistudio.baidu.com/aistudio/projectdetail/557288

二、基于表格型方法求解RL 

MDP、状态价值、Q表格
实践： Sarsa、Q-learning代码解析，解决悬崖问题及其对比
课后作业：使用Q-learning和Sarsa解决16宫格迷宫问题。

Sarsa实现迷宫游戏

https://aistudio.baidu.com/aistudio/projectdetail/581523

三、基于神经网络方法求解RL 

函数逼近方法
实践：DQN代码解析，解决CartPole问题
课后作业：使用DQN解决 MountianCar问题

四、基于策略梯度求解RL 

策略近似、策略梯度
实践：Policy Gradient算法理解、代码解析，解决CartPole问题
课后作业：使用Policy Gradient解决Atari的Pong问题

五、连续动作空间上求解RL 

连续动作空间、DDPG算法介绍
PARL DDPG代码解析
大作业题目
RLSchool 飞行器仿真环境介绍

B站视频：强化学习Sarsa算法小红龟迷宫找出口