TD简单说明

每一个后面的state，都可以修正前面的state的V(s).后一state的V(s)更接近真实值，比如后一state恰好是自循环，那么它的V(s)经过很少的几个回合，就可以得到真实值

开车，前一秒感觉很正常，后一秒感觉快撞车，这时候就要修正前一秒的感觉

TD Target 应该等于 V(s),TD error 应该等于0。这样得到的V(s)函数才是正确的

利用每一step的数据评估V(s),MC是利用每一episode的数据评估V(s)

forward view TD(namda) 是站在当前看未来，namda越大，看到的未来越远，越远的未来对当前有影响
backward view TD(namda) 是站在结果看过去，离结果越近的state，对结果贡献越大，分得的权重越大。namda等于0，表示上一状态分得全部的权重1；namda等于1，表示之前的所有状态按比例分享权重，越近分得的权重越大，改变越大

forward view和backward view 算出来的TD(namda)值无区别