为何DDPG是off-policy算法？

用于求解动作价值函数的Bellman方程可以表示为：
$$Q^{\pi }(s_t,a_t)=E_{r_t,s_{t+1}\sim E}[r(s_t,a_t)+\gamma E_{a_{t+1}\sim \pi }[Q^{\pi }(s_{t+1},a_{t+1})]]$$
If the target policy is deterministic we can describe it as a function $\mu$: $S\leftarrow A$ and avoid the inner expectation:
$$Q^{\mu }(s_t,a_t)=E_{r_t,s_{t+1}\sim E}[r(s_t,a_t)+\gamma Q^{\mu }(s_{t+1},\mu (s_{t+1}))]$$
实际上，由于需要对$t+1$时刻动作价值函数求期望，这一步操作的不同，带来了off-policy和on-policy的差异。
对于Q-learning而言，它可以通过$s_{t+1}$来估一个动作，然后选取动作最大值来消除动作的不确定性，对于DDPG而言，它通过输出确定动作，来消除动作不确定性，这都能保证它们是off-policy，因为只要环境确定了，它们在当前状态中输出的动作就是确定的，它们可以直接用$(s_t,a_t,r_t,s_{t+1})$来训练，而不需要 $a_{t+1}$。
但AC就不行，因为它输出的是动作分布，只给一个$s_{t+1}$是无法确定$a_{t+1}$的，进而无法确定$Q$值，只有等下一步动作确定后才能来算$Q$值，因为它需要依赖自己的真实决策值来对期望进行蒙特卡罗近似，所以它就没法用别人的经验。