【百度飞桨强化学习7日打卡营】学习笔记 -- 第一课：强化学习（RL）初印象

写在前面

本次课程是参加百度飞桨7日打卡营活动的第一天笔记。
课程链接：https://aistudio.baidu.com/aistudio/education/group/info/1335

课程导入

人工智能可以像人一样模仿、像人一样自学。

课程大纲

强化学习的推荐学习路线：
课程需要提前学习的知识与资料推荐：

第一课：强化学习（RL）初印象

主要内容：RL概述、入门路线、
实践：环境搭建

一、什么是强化学习

走迷宫的例子显示了强化学习的特点：

1. 与环境的交互特点：agent的策略是一连串的序列决策，会不断与环境进行交互；
2. 奖励的延迟特点：不会运行每一步都会告诉你输出的动作对不对，只有把所有的步骤都执行结束之后，才知道是否成功。

二、强化学习的典型场景

强化学习的典型场景：APP个性化推荐、股票的预测（股票场景事一个看长期收益的问题，而强化学习是具有延迟收益的特点，所以他们是完美贴合）、交通治理、

三、强化学习与其他机器学习的关系

监督学习：输入x，输出想要的y。主要用在分类、回归问题。任务驱动型
非监督学习：输入一批x，分辨这部分x与另外一部分x不一样，主要用在聚类问题。数据驱动型。
强化学习：输入的x是环境的状态，输出的是action,与环境交互。环境驱动型


强化学习的Agent学习的两种方案

四、RL概览分类

算法库&框架库

五、RL编程实践

Gym、

六、PARL介绍

七、总结

课后作业

下载代码库PARL，运行QuickStart。 预期结果：QuickStart运行成功，分数reward收敛至200分。

1.课后作业AI Studio运行效果

参照课上老师讲解和 PARL/examples/tutorials 里面的内容，填写完整 Notebook，并运行代码。

2.课后作业本地运行效果

解答：
自己是在windows10+anaconda 上实验运行的，具体命令参考 作业内容实现。

pip install paddlepaddle==1.6.3
pip install parl==1.3.1
pip install gym

git clone --depth=1 https://gitee.com/PaddlePaddle/PARL.git  # 下载PARL代码库
dir PARL # 查看代码库根目录

## Step3 运行QuickStart
python PARL/examples/QuickStart/train.py

经过一段时间的训练，最终实现了 分数reward收敛至200分。