强化学习概述--甄景贤

转载 2017年07月17日 17:38:48

1、什么是强化学习(What is reinforcement learning?)

Reinforcement learning 是机器学习里面的一个分支,特别善於控制一只能够在某个环境下 自主行动 的个体 (autonomous agent),透过和 环境 之间的互动,例如 sensory perception 和 rewards,而不断改进它的行为 。

听到强化学习,你脑里应该浮现一只曱甴那样的小昆虫,那就是 autonomous agent 的形象:

这里写图片描述

对「环境」(environment) 这概念,你应该想到像以下这经典游戏的迷宫:

这里写图片描述

包括有追捕你的怪物、和吃了会加分的食物 (这些代表负值和正值的 rewards)。 当然,实际应用的「环境」和「奖励」可以是抽象的,这游戏是一个很具体的例子。

2、输入/输出

reinforcement learning 的 输入 是:

  1. 状态 (States) = 环境,例如迷宫的每一格是一个 state
  2. 动作 (Actions) = 在每个状态下,有什么行动是容许的
  3. 奖励 (Rewards) = 进入每个状态时,能带来正面或负面的 价值 (utility)

而输出就是:
方案 (Policy) = 在每个状态下,你会选择哪个行动?

於是这 4 个元素的 tuple (S,A,R,P)就构成了一个强化学习的系统。 在抽象代数中我们常常用这 tuple 的方法去定义系统或结构。

再详细一点的例子就是:

  1. states S = 迷宫中每一格的位置,可以用一对座标表示,例如(1,3)
  2. actions A = 在迷宫中每一格,你可以行走的方向,例如:{上,下,左,右}
  3. rewards R = 当前的状态 (current state) 之下,迷宫中的那格可能有食物 (+1) 、也可能有怪兽 (-100)
  4. policy P = 一个由 状态 → 行动 的 函数,意即: 这函数对给定的每一个状态,都会给出一个行动。
    (S, A, R)是使用者设定的, P 是算法自动计算出来的。

人与虫之间

第一个想到的问题是: 为什么不用这个方法打造人工智能? 但现时的强化学习算法,只对比较细小和简单的环境适用,对於大的复杂的世界,例如象棋的 10xxx 状态空间,仍是 intractable 的。

关键就是,高等智慧生物会在脑中建立世界的模型 (world model) 或知识 (knowledge), 而强化学习只是关心简单的「状态-行动」配对。

强化学习的领导研究者 Richard Sutton 认为,只有这种学习法才考虑到 自主个体、环境、奖励 等因素,所以它是人工智能中最 top-level 的 architecture,而其他人工智能的子系统,例如 logic 或 pattern recognition,都应该在它的控制之下,我觉得颇合理。

所以要制造 strong AI,一个可能的方案就是结合强化学习和某种处理复杂 world model 的能力:

这里写图片描述

「你们已经由虫进化成人,但在你们之内大部份仍是虫。」 – 尼采, Thus spoke Zarathustra

「如果人类不相信他们有一天会变成神,他们就肯定会变成虫。」 – Henry Miller 。

程式

学 AI 最紧要有 program,不然就会很枯燥。 这是我在网上找到的一个特别简单的 demo,作者是 Travis DeWolf:

https://studywolf.wordpress.com/2012/11/25/reinforcement-learning-q-learning-and-exploration/

只要 Python 便可运行,但你可能要 install PyGame。

猫、老鼠、芝士:

这里写图片描述

猫的行动是简单地朝着老鼠追(没有智能),老鼠的行动是学习出来的。

注意,在 main program 和 cellular.py 这两部分,纯粹是定义了迷宫世界如何运作,基本上是一个 game,里面完全没有智能,你可以用{上、下、左、右} 控制各 agent 的活动,如此而已。

强化学习的程式在 qlearn.py,很短,而真正学习的程式基本上只有一句,就是:

def learnQ(self, state, action, reward, value):
oldv = self.q.get((state, action), None)
if oldv is None:
       self.q[(state, action)] = reward
else:
       self.q[(state, action)] = oldv + self.alpha * (value - oldv)

单是这一句程式,就能令老鼠学到避开猫、吃芝士。 以下再解释……

3、 強化學習的原理

AI-a modern approach》这本书第 21 章有很好的简介。 《AIMA》自然是经典,很多人说他们是读这本书而爱上 AI 的。 这本书好处是,用文字很耐性地解释所有概念和原理,思路很清晰,使读者不致有杂乱无章的感觉。 例如 21 章 首先讲 passive reinforcement learning,意思是当 policy 是固定时,纯粹计算一下 agent 期望的价值(utility,即 rewards 的总和) 会是多少。 有了这基础后再比较不同 policies 的好坏。 这种思路在数学中很常见: 首先考虑简单到连白痴也可以解决的 case,然后逐步引入更多的复杂性。 例如数学归纳法,由 N=1 的 case 推到 N→∞ 。

为免重复,我只解释到明白 Q learning 的最少知识。

4、Utility (价值,或效)

U 是一连串行动的 rewards 的总和。 例如说,行一步棋的效用,不单是那步棋当前的利益,还包括走那步棋之后带来的后果。 例如,当下贪吃一只卒,但 10 步后可能被将死。 又或者,眼前有美味的食物,但有些人选择不吃,因为怕吃了会变肥。

一个 state 的效用 U 就是: 假设方案固定,考虑到未来所有可能的 transitions,从这个 state 开始的平均期望的 total reward 是多少 :

U(S0)=
  • 本文已收录于以下专栏:

相关文章推荐

强化学习在机器人中的应用 --- 概述

强化学习是机器学习中的一个子领域,其中智能体通过与环境的交互,观测交互结果以及获得相应的回报。这种学习的方式是模拟人或动物的学习过程我们人类,与我们所处的环境有一个直接的感官接触,我们可以通过执行动作...

深度强化学习系列(一):强化学习概述

深度强化学习系列之一,深度强化学习概述

【C++学习笔记】01_C++概述

  • 2014年06月19日 12:01
  • 20KB
  • 下载

从零开始学习EasyDarwin(概述篇)

从零开始学习EasyDarwin EasyDarwin教程 EasyDarwin 入门学习

C语言学习笔记之 第一讲:C语言概述

1、 软件:一系列按照特定循序组织的计算机数据和指令的集合。 2、 软件分类:系统软件   应用软件 3、 人与计算机之间的交互方式: 自然交互界面  声音、触摸屏控制   成就了苹果 图形化界面  ...

汇编学学习电子书的概述2

  • 2012年09月21日 22:36
  • 35.39MB
  • 下载

嵌入式系统学习概述

  • 2014年09月19日 15:46
  • 104KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:强化学习概述--甄景贤
举报原因:
原因补充:

(最多只允许输入30个字)