为什么时序差分是动态规划和蒙特卡罗的结合

动态规划的优势：在已知状态转换概率和回报函数的情况下，不需要与环境的交互，直接通过策略迭代或值迭代方法得到最优策略。

动态规划的劣势：但实际情况下，环境的状态转换概率通常是未知的，因此该方法并不实际可行。

动态规划分析：虽然动态规划并不实际可行，但重要的是它的思想：用空间换时间，存储每个状态的值函数（也就是Q表），并利用后继状态的值函数估计当前值函数，这样就实现了单步更新，提升了更新的效率，也是时序差分借鉴的地方

蒙特卡洛的优势：在不知道状态转换概率的情况下，通过经验平均去估计状态的期望值函数，经验也即是采样或实验，利用当前策略进行很多次试验，每次试验都是从任意的初始状态开始直到终止状态，当采样的次数足够的多（保证每一个可能的状态-动作都能被采样到）时，就可以最大程度的逼近状态的真实期望值函数。

蒙特卡洛的劣势：因为它用的是值函数的原始定义：即从状态s到终态的累计奖赏，因为它必须到达终态才能得到状态s的值函数，因此更新过程非常缓慢，学习效率不高。

蒙特卡洛分析：因为它是通过采样的方法去估计状态的期望值函数，不需要知道状态转换概率，更符合实际情况，这里的采样其实也就是为什么说强化学习是试错学习，为什么要和环境交互的原因。试错就是采样之后，环境给出奖惩信息，说明在当前状态下执行该动作的好坏，并会在最后的值函数中得到体现。

怎么结合&