强化学习（Reinforcement Learning）

转载至https://blog.csdn.net/zhangweijiqn/article/details/53200204

知乎上关于deep learning和强化学习的资源：
https://zhuanlan.zhihu.com/intelligentunit　　

目前在Deep Reinforcement Learning取得开拓性进展的主要集中在DeepMind和UC Berkerley团队(openAI)

强化学习资料：

简明教程： http://blog.csdn.net/itplus/article/details/9361915 （ 推荐先看这个来了解Q-learning，theory和example很详细）

《Reinforcement Learning-An Introduction》-----入门经典

《Algorithms for Reinforcement Learning》----各种算法

《Reinforcement Learning State-of-the-Art》---最新进展（flat，hierarchical...)

《Recent Advances in Reinforcement Learning》

资源整合： https://github.com/stone8oy/deepRL/tree/resource

知乎： https://www.zhihu.com/question/41775291

DQN从入门到放弃：

1, 2, 3, 4, 5, 6, 7

Ｑ-learning、DNQ　和　Policy Gradient :

Q-Learning和Policy Gradient:

https://www.zhihu.com/question/49787932

Q-learning 是一种基于值函数估计的强化学习方法, Policy Gradient 是一种策略搜索强化学习方法。两者是求解强化学习问题的不同方法，如果熟悉监督学习，前者可类比Naive Bayes——通过估计后验概率来得到预测，后者可类比SVM——不估计后验概率而直接优化学习目标。

Q-Learning和DQN:

https://zhuanlan.zhihu.com/p/21996219

Q-learning 中，t 为时刻， 每一对状态s_t （state）和动作a_t（action），相应的会有一个反馈reward, 定义Q表示从经验中学习到的知识，对应一个Q_t值。 这里的s_t就对应网络中的输入中的一张游戏截图，a_t就对应网络中的输出节点，就是网络看到这个游戏截图后，给出的动作。 Q-learning学习凑效的原因是对Q矩阵的更新 。这个更新遵循一个原则：若当前状态下执行某动作后的下一个状态的动作能带来更多价值，则当前动作的价值就应该往高方向更新，这里说的动作的价值就是Q值。

上面是一个Reward矩阵，Q矩阵和Reward大小一样，也是State*Action大小。

把cnn用作生成Q的一个函数。拿游戏来说，输入是训练游戏截图（state），输出是Q矩阵，所以就叫深度质量网络（DQN）。

状态State到动作Action的过程就称之为一个 策略Policy ，增强学习的任务就是找到一个最优的策略Policy从而使Reward最多。

最开始deep mind 用强化学习来进行Atari游戏，发表paper为 https://link.zhihu.com/?target=http%3A//arxiv.org/abs/1312.5602：

DQN玩flappyBird:

MxNet: https://github.com/li-haoran/DRL-FlappyBird

TensorFlow:

https://github.com/yenchenlin/DeepLearningFlappyBird

https://github.com/songrotek/DRL-FlappyBird (150行代码完成DQN作者，该作者下还有很多其他的强化学习代码，比如： https://github.com/songrotek/DQN-Atari-Tensorflow)

150行代码完成DQN:

https://zhuanlan.zhihu.com/p/21477488?refer=intelligentunit

https://github.com/openai/gym

下面是一个强化学习的入门demo,：

(1) http://www.cnblogs.com/geniferology/p/what_is_reinforcement_learning.html

(2) https://studywolf.wordpress.com/2012/11/25/reinforcement-learning-q-learning-and-exploration/

(3) github代码： https://github.com/studywolf/blog/tree/master/RL/Cat%20vs%20Mouse%20exploration

git clone https://github.com/studywolf/blog.git

cd blog/RL/Cat vs Mouse exploration

python egoMouseLook.py (可能要pip install pygame)

猫的行动是简单地朝着老鼠追（没有智能），老鼠的行动是学习出来的。老鼠学到避开猫、吃芝士。

MDP（Markov Decision Process）马尔科夫决策过程

MDP基于这样一种假设：

未来只取决于当前

什么意思呢？

就是如果我们站在上帝视角下看，我们知道这个世界的每个物体的状态，那么未来的变化只跟当前的状态相关，和过去没有关系。

用数学的话来描述就是：

一个状态是Markov当且仅当

P为概率。简单的说就是下一个状态仅取决于当前的状态和当前的动作。注意 这里的状态是完全可观察的全部的环境状态（也就是上帝视角）。

回到增强学习的范畴，增强学习的问题都可以模型化为MDP的问题。

一个基本的MDP可以用（S,A,P）来表示，S表示状态，A表示动作，P表示状态转移概率，也就是根据当前的状态和转移的概率。如果我们知道了转移概率P，也就是称为我们获得了 模型Model