Sarsa 与Q-Learning 对比 Q-Learning TD target 推导 替换掉A_{t+1} 直接求期望比较困难,因此做蒙特卡洛近似 y t y_t yt含有部分真实值,更接近真实情况,鼓励 Q ∗ Q^* Q∗接近 y t y_{t} yt 表格形式 其中 Q ∗ Q^{*} Q∗的值都通过查表得到 神经网络形式