强化学习（PPO、DQN、A3C）简述

        强化学习需要不断与环境交互；开局是智障，装备全靠打；需要大量的模拟数据来训练；训练其实就是不断尝试的过程，慢慢去学习如何才不能撞墙！

       强化学习也就是咱们的一生（经历了学习、学习、学习；与环境交互中不断获得经验）。设置奖励机制，实际中奖励并不是只有最终结果来判断，过程每一步都会有奖励。往哪里走才能获得更多的奖励。

        强化学习智能体（有大脑）和人工智能（AI）很接轨。机器人要不断与环境交互；互动就是得到下一步的指示（Action）；按照指示走一步势必会改变环境；继续与环境交互得到新的指示（结合奖励机制来学习要不要这么干！）

1、简介

        1、计算机眼中什么是环境（state）呢？

        在强化学习的应用场景中，计算机眼中的环境（state）通常是指一个能够完整描述当前状态的信息集合。这个信息集合可以包括各种感知到的特征或信号，如传感器数据、图像、声音等。

        在某些情况下，环境的状态可能由固定数量的变量构成，比如位置、速度、方向等。在这种情况下，状态可以表示为一个向量，其中每个变量对应一个状态维度。

        在其他情况下，环境的状态可能由非常大量的变量组成，比如在深度学习中处理图像数据时。这种情况下，需要使用一些特殊的技术来压缩状态，以使得它们可行且易于处理。目前，主要采用的技术是卷积神经网络（CNN）和循环神经网络（RNN）。

        在强化学习中，环境的状态是智能体进行动作选择的基础。智能体会通过观察当前的状态，根据自身的策略来选择最优的动作，以获取最大的奖励。因此，环境的状态设计和表示方式对强化学习的性能和效果有着很大的影响。

        2、Action是什么？

        与环境交互后得到的反应，例如（上，下，左，右），可能是离散，也可能是连续（例如机器人要打我，它不仅能移动（离散）还能出不同的的力度（连续））

        3、如何通过状态得到当前合适的行为呢？

        只需要神经网络就可以啦，输入为state，输出为action。（难点为如何训练网络）

        4、强化学习与深度学习之间的区别：

        强化学习（Reinforcement Learning, RL）与深度学习（Deep Learning, DL）是两种不同的机器学习方法。

        强化学习主要用于解决一系列复杂问题，例如游戏、机器人控制、自然语言处理等。强化学习是一种通过智能体（Agent）与环境交互来进行学习的方法。在强化学习中，智能体采取一系列动作，环境根据智能体采取的动作返回相应的奖励或惩罚，并反馈当前状态。智能体根据当前状态和之前的经验，选择最佳的动作，最大化长期累积奖励。因此，强化学习的重点在于如何在较长时间内使智能体获得最大的收益，需要考虑长期后果和与环境的交互。

 &