TD(λ)--Eligibility Traces

Eligibility traces在backward view中扮演者重要的角色。它的由来主要来自于解释分数（奖惩）的由来，如图，这种电击的原因有两种启发式的解释，一种是频率派，认为电击来自于出现频率最多的情况，即铃声。另外一种是近因派，认为电击是来自于灯泡，而eligibility tarces采用衰减因子的方式，比较好的结合了这两种启发式的方法，

 

 这是Eligibility traces一个小小的demo.

import numpy as np
import matplotlib.pyplot as plt
a=np.random.randint(0,2,size=100)
b=np.arange(0,100,1)
eligibility_list=list()
E_t=0
for trace in a:
    eligibility_list.append(E_t)
    E_t=0.8*E_t+trace
plt.plot(b,eligibility_list)
plt.show()