python基础入门深度强化学习_python机器学习四(强化学习)

1.强化学习就是程序或智能体(agent)通过与环境不断地进行交互学习一个从环境到动作的映射，学习的目标就是使累计回报最大化。

2.强化学习是一种试错学习，因其在各种状态(环境)下需要尽量尝试所有可以选择的动作，通过环境给出的反馈(即奖励)来判断动作的优劣，最终获得环境和最优动作的映射关系(即策略)。

马尔可夫决策过程(MDP)

马尔可夫决策过程(Markov Decision Process)通常用来描述一个强化学习问题。

智能体agent根据当前对环境的观察采取动作获得环境的反馈，并使环境发生改变的循环过程

蒙特卡洛强化学习

1.在现实的强化学习任务中，环境的转移概率、奖励函数往往很难得知，甚至很难得知环境中有多少状态。若学习算法不在依赖于环境建模，则称为免模型学习，蒙特卡洛强化学习就是其中一种。

2.蒙特卡洛强化学习使用多次采样，然后求取平均累计奖赏作为期望累计奖赏的近似。

蒙特卡洛强化学习：直接对状态动作值函数Q(s,a)进行估计，每采样一条轨迹，就根据轨迹中的所有“状态-动作”利用下面的公式对来对值函数进行更新。

每次采样更新完所有的“状态-动作”对所对应的Q(s，a)，就需要更新采样策略π。但由于策略可能是确定性的，即一个状态对应一个动作，多次采样可能获得相同的采样轨迹，因此需要借助ε贪心策略:

蒙特卡洛强化学习算法需要采样一个完整的轨迹来更新值函数，效率较低，此外该算法没有充分利用强化学习任务的序贯决策结构。

Q-learning算法结合了动态规划与蒙特卡洛方法的思想，使得学习更加高效。