TensorFlow-11-策略网络

原创 2017年06月09日 20:19:06

今日资料:
《Tensorflow 实战》-策略网络
代码:
https://github.com/awjuliani/DeepRL-Agents/blob/master/Policy-Network.ipynb

强化学习是机器学习的一个重要分支,可以解决连续决策的问题。

一个强化学习问题,主要包含三个概念,环境状态,行动,奖励, 强化学习的目标就是获得最多的累计奖励。

它有很多应用,比如控制机器人,无人驾驶,商品定价,库存管理,玩游戏,例如AlphaGo。

例如在围棋这个游戏中,环境状态指的是已经出现的某个局势,行动指在某个位置落子,奖励是指当前这步棋获得的目数,最终的目标就是在结束时总目数超过对手,它是以最终结果为目标,而不是只看当下某个行动带来的利益。

强化学习不像无监督学习那样完全没有学习目标,也不像监督学习那样有非常明确的目标,他的目标一般是变化的不明确的。在围棋游戏中19×19的棋盘带来了3^361种状态,这是无法通过暴力搜索来战胜人类的,所以就需要给计算机抽象思维的能力。AlphaGo 主要使用了快速走子,策略网络,估值网络,和蒙特卡洛搜索树等技术。

深度强化学习模型本质上也是神经网络,主要分为策略网络和估值网络

强化学习中最重要的两类方法, Policy-based , Valu-based

第一种是直接预测在某个环境状态下应该采取的行动,第二种是预测在某个环境状态下所有行动的期望价值,然后通过选择 Q 值最高的行动执行策略。


今天要先来实现一下策略网络,就是要建立一个神经网络模型,可以通过观察环境状态预测出目前最应该执行的策略以及可以获得的最大的期望收益。

我们不会告诉它什么才是比较好的行动,而是需要它通过试验样本自己学习出什么才是某个环境状态下比较好的行动, 也就是它的学习目标是期望价值,包括当前的奖励和未来潜在的奖励,会把未来所有的奖励乘以衰减系数。

策略模型的训练方法是 Policy Gradients,好的行动会带来高期望值,差的行动会带来低期望值,通过对这些样本的学习,模型会逐渐增加,选择好行动的概率。

今天的代码是要用 Tensorflow 创建一个基于策略网络的 Agent 来解决 CartPole 问题。这个问题是一个经典的可以用强化学习来解决的控制问题。就是在它的环境中有一个小车,在一个一维的无阻力轨道上行动,在车上绑着一个连接不太结实的杆儿,这个杆儿会左右摇晃。每个环境信息包含四个值,例如小车的位置速度等,我们不需要编写逻辑来控制小车,而是设计一个策略网络,让它自己从这些数值中学习到环境信息,并制定最佳策略。

安装gym,创建 CartPole 问题的环境。

import gym
env = gym.make('CartPole-v0')

首先,初始化环境,然后进行十次随机试验,在产生随机的行动,然后执行这些行动,并获得,然后把 reward 累加。

我们的策略网络是要使用一个简单的带有一个隐含层的 MLP,隐含层节点数为10,环境信息的维度为4。

首先创建 observation 的 placeholder,然后用 xavier 这个初始化算法来创建隐含层的权重W1,再用ReLu激活函数得到隐藏层的输出,同样初始化W2,再用 sigmoid 激活函数得到最后的输出概率。

优化器用adam算法,然后执行 updategrads 更新模型参数。

下面这个函数是用来估算每一个行动对应的潜在价值,越靠后的行动的期望价值越小,越靠前的价值越大。running add 就是潜在价值,GSM是衰减系数,我们要从后向前累计这些价值。

loglik 是当前行动对应的概率的对数,loss就是我们要做的优化目标。

总是验证次数为一万次,直到累计奖励达到200时停止训练。

gradbuffer 用来存储参数的梯度,完成一个 batch 试验之后再将总梯度更新到模型参数。

用 reshape 得到策略网络输入的格式,然后获得网络输出的概率 tfprob,然后在 0-1 之间随机抽样得到 action,如果它小于这个概率就利用行动取值为1,否则为0。

然后用 discount rewards 函数来计算每一步行动的潜在价值,并进行标准化。
用 newgrads 求解梯度,再将获得的梯度累加。


推荐阅读
历史技术博文链接汇总
也许可以找到你想要的

版权声明:本文为博主原创文章,未经博主允许不得转载。

TensorFlow实战13:实现策略网络(强化学习一)

1.策略网络简介所谓的策略网络,即建立一个神经网络模型,它可以通过观察环境状态,直接预测出目前最应该执行的策略(policy),执行这个策略可以获得最大的期望收益(包括现在的和未来的reward)。和...
  • Felaim
  • Felaim
  • 2017年04月25日 18:49
  • 2315

《tensorflow实战》6——强化学习之策略网络

策略网络和估值网络是强化学习两种重要的方法。强化学习和有监督学习、无监督学习不同,它的学习目标是变化的、不明确的,甚至可能不存在绝对正确的标签。AlphaGo就是结合了策略网络,估值网络和蒙特卡洛搜索...

TensorFlow实战14:实现估值网络(强化学习二)

1.估值网络简介 在强化学习中,除了上节提到的策略网络(Policy Based)直接选择Action的方法,还有一种学习Action对应的期望值(Expected Utility)的方法,称为Q-...
  • Felaim
  • Felaim
  • 2017年04月27日 23:08
  • 1819

tensorflow41《TensorFlow实战》笔记-08-02 TensorFlow实现深度强化学习-估值网络 code

# 《TensorFlow实战》08 TensorFlow实现深度强化学习 # win10 Tensorflow1.0.1 python3.5.3 # CUDA v8.0 cudnn-8.0-wind...
  • longji
  • longji
  • 2017年04月16日 18:28
  • 964

git学习 - 使用submodule(子模块)管理外链库

git学习 - 使用submodule(子模块)管理外链库 submodule是固定commit的clone,默认为head 执行git submodule add 或对于新clone下来...
  • n5
  • n5
  • 2013年04月16日 13:33
  • 16099

poj 4001 抓住那头牛 (广度优先搜索算法)

题目链接:http://bailian.openjudge.cn/practice/4001

TensorFlow神经网络优化策略

在神经网络模型优化的过程中,会遇到许多问题,比如如何设置学习率的问题,我们可通过指数衰减的方式让模型在训练初期快速接近较优解,在训练后期稳定进入最优解区域;针对过拟合问题,通过正则化的方法加以应对;滑...

Tensorflow实战学习(三十七)【实现强化学习策略网络】

强化学习(Reinforcement Learing),机器学习重要分支,解决连续决策问题。强化学习问题三概念,环境状态(Environment State)、行动(Action)、奖励(Reward...
  • WuLex
  • WuLex
  • 2017年11月22日 09:31
  • 295

Deep Learning-TensorFlow (11) CNN卷积神经网络_解读 VGGNet

VGGNet 是牛津大学计算机视觉组(Visual Geometry Group)和 Google DeepMind 公司的研究员一起研发的的深度卷积神经网络,在 ILSVRC 2014 上取得了第二...

Tensorflow分布式并行策略

tensorFlow中主要包括了三种不同的并行策略,其分别是数据并行、模型并行、模型计算流水线并行,具体参考Tenssorflow白皮书,在接下来分别简单介绍三种并行策略的原理。数据并行一个简单的加速...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:TensorFlow-11-策略网络
举报原因:
原因补充:

(最多只允许输入30个字)