百度飞桨强化学习(1)

基础

  • 高等数学
  • 线性代数(向量空间的变换思想)
  • 概率与数理统计(期望,方差)
  • Python:numpy
  • 神经网络

强化学习

在这里插入图片描述
RL主要分为两部分:

  • agent智能体
  • environment环境

通过这两部分的交互产生经验,主要有三要素:

  • state状态
  • action动作
  • reward奖励

智能体根据环境state来执行动作,并且根据环境的反馈得到reward来指导更好的动作。

两种学习方法

  • 基于价值
  • 基于策略

在这里插入图片描述
基于价值的方法,当训练到一定程度,价值基本固定,输出的动作只会走到价值高的地方输出是固定的。
基于策略因为是输出的动作的概率,每次都要机会选择左右动作,因此最后的动作不是唯一固定的。

算法分类

在这里插入图片描述

乌龟环境

首先本地下载PARL:

git clone git@github.com:PaddlePaddle/PARL.git

用pycharm打开PARL的工程
在这里插入图片描述
进到第一节课的文件下:

cd D:\py_code\PARL\examples\tutorials\lesson1

在pycharm的终端输入python进入交互式编程:

python

然后在终端输入下面命令:

import gym
from gridworld import CliffWalkingWapper

env = gym.make("CliffWalking-v0") #创建悬崖环境
env = CliffWalkingWapper(env) #产生可视化界面
env.reset() #初始化
env.render()

在这里插入图片描述
乌龟通过0123上下左右的移动:

env.step(0)
env.render()

在这里插入图片描述
完整的乌龟探索走到终点的代码:

import gym
from gridworld import CliffWalkingWapper
import numpy as np

env = gym.make("CliffWalking-v0") #创建悬崖环境
env = CliffWalkingWapper(env) #产生可视化界面
obs = env.reset() #初始化
while True:
    action = np.random.randint(0,4)
    obs,reward,done,info = env.step(action)
    env.render()
    if done:
        break
©️2020 CSDN 皮肤主题: 黑客帝国 设计师:上身试试 返回首页