写在前面
本次课程是参加百度飞桨7日打卡营活动的第一天笔记。
课程链接:https://aistudio.baidu.com/aistudio/education/group/info/1335
课程导入
人工智能可以像人一样模仿、像人一样自学。
课程大纲
强化学习的推荐学习路线:
课程需要提前学习的知识与资料推荐:
第一课:强化学习(RL)初印象
主要内容:RL概述、入门路线、
实践:环境搭建
一、什么是强化学习
走迷宫的例子显示了强化学习的特点:
- 与环境的交互特点:agent的策略是一连串的序列决策,会不断与环境进行交互;
- 奖励的延迟特点:不会运行每一步都会告诉你输出的动作对不对,只有把所有的步骤都执行结束之后,才知道是否成功。
二、强化学习的典型场景
强化学习的典型场景:APP个性化推荐、股票的预测(股票场景事一个看长期收益的问题,而强化学习是具有延迟收益的特点,所以他们是完美贴合)、交通治理、
三、强化学习与其他机器学习的关系
监督学习:输入x,输出想要的y。主要用在分类、回归问题。任务驱动型
非监督学习:输入一批x,分辨这部分x与另外一部分x不一样,主要用在聚类问题。数据驱动型。
强化学习:输入的x是环境的状态,输出的是action,与环境交互。环境驱动型
强化学习的Agent学习的两种方案
四、RL概览分类
算法库&框架库
五、RL编程实践
Gym、
六、PARL介绍
七、总结
课后作业
下载代码库PARL,运行QuickStart。 预期结果:QuickStart运行成功,分数reward收敛至200分。
1.课后作业AI Studio运行效果
参照课上老师讲解和 PARL/examples/tutorials 里面的内容,填写完整 Notebook,并运行代码。
2.课后作业本地运行效果
解答:
自己是在windows10+anaconda 上实验运行的,具体命令参考 作业内容实现。
pip install paddlepaddle==1.6.3
pip install parl==1.3.1
pip install gym
git clone --depth=1 https://gitee.com/PaddlePaddle/PARL.git # 下载PARL代码库
dir PARL # 查看代码库根目录
## Step3 运行QuickStart
python PARL/examples/QuickStart/train.py
经过一段时间的训练,最终实现了 分数reward收敛至200分。