机器学习-强化学习

强化学习简介

什么是强化学习？
强化学习是多学科多领域交叉的一个产物，它的本质就是解决“决策”问题，即学会自动进行决策。强化学习是一个“序列决策”问题，它需要连续选择一些行为，从而这些行为完成后得到最大的收益最好的结果。
强化学习的方式
它在没有任何label告诉算法应该怎么做的情况下，通过先尝试做出一些行为得到一个结果，通过先尝试做出一些行为得到一个结果，通过判断这个结果是对还是错来对之前的行为进行反馈，然后由这个反馈来调整之前的行为，通过不断地调整，算法能够学习到在什么样的情况下选择什么样的行为可以得到最好的结果。

强化学习特点

• 没有监督数据，只有奖励信号
• 奖励信号不一定是实时的，而很可能是延后的，有时甚至延后很多
• 时间（序列）是一个重要因素
• 当前的行为影响后续收到的一个重要因素
  强化学习有广泛的应用
  强化学习有广泛的应用：像直升机特技飞行、经典游戏、投资管理、发电站控制、让机器人模仿人类行走等
  强化学习问题的提出
• 奖励Reward
  
  强化学习主要是基于这样的“奖励假设”：所有问题解决的目标都可以被描述成最大化累计奖励。
• 序列决策Sequential Decision Marking
  **目标：**选择一定的行为序列以最大化未来的总体奖励
• 这些行为可能是一个长期的序列
• 奖励可能而且通常是延迟的
• 有时候宁愿牺牲即时（短期）的奖励以获得更多的长期奖励

马尔可夫决策过程

• R是回报函数（reward function）