强化学习学习笔记（一）：初识强化学习

一、强化学习及关键因素

        1.奖励：强化学习的目标就是要最大化在长时间里的总奖励。奖励有正有负，机器人花费的时间和能量就属于负奖励。

        2.策略：决策者会根据不同的观测决定采用不同的动作，这种从观测到动作的关系称为策略。强化学习试图修改策略以最大化奖励。

二、强化学习与监督学习和非监督学习的区别

        监督学习：知道每个动作的正确答案，可以通过逐步对比来学习。监督学习希望能将学习结果运用到未知的数据，要求结果可推广、可泛化。监督学习一般运用于判断、预测等任务，如判断图片的内容、预测股票价格等，而强化学习不适用于这样的任务；

        非监督学习：旨在发现数据之间隐含的结构，一般用于聚类等任务，而强化学习不适用于这样的任务；

        强化学习：只能通过奖励信号来学习，因为不知道每一步的正确答案，所以有较长的时延才能根据奖励知道正确与否（AlphaGo下围棋，只有这盘棋结束才知道之前的每一步下得好不好），所以强化学习注重更长远的性能。

三、智能体/环境接口

  

        1.智能体：一个强化学习系统里可以有一个或多个智能体。我们并不需要对智能体本身进行建模，只需要了解它（们）在不同环境下可以做出的动作，并接受奖励信号。

        2.环境：强化系统里除智能体意外的所有实物，是智能体交互的对象。

        3.智能体观测环境，获得环境的观测，记为

           智能体根据观测做出决策，决定对环境施加动作，记为

           环境受智能体动作的影响，改变自己的状态，记为，环境给决策者奖励，记为

           其中观测、动作、奖励是智能体可以直接观测到的。

        4.建模表述问题在第二章马尔科夫决策过程中详细介绍。

四、强化学习的分类

         深度强化学习：强化学习和深度学习是两个独立的概念。

         对于强化学习而言，在问题规模比较小时，能够获得精准解；当问题规模比较大时，常常使用近似的方法。

        深度学习则利用神经网络来近似复杂的输入/输出关系。

        对于规模比较大的强化学习问题，可以考虑利用深度学习来实现近似。

五、预备知识和预先准备

        基础概率论知识。一些明星算法比如AlphaGo需要学习微积分和深度学习。

        Python以及Python扩展库（Gym库、numpy、TensorFlow）

        os：我这技术方面是着实不过关，等所有理论整明白点再集中解决那些个技术问题。当然，Python实现部分也会更新学习笔记，敬请期待！