其是想在attention上做一些改变,我们可以把他想成是动态的移动我们的window。
here?:吃两个输入,z0和h,输出Yes/No,选择是否将window放在这里,如果No的话往右移动。
在此window内做attention,一个window输出一个token,不输出null
其是想在attention上做一些改变,我们可以把他想成是动态的移动我们的window。
here?:吃两个输入,z0和h,输出Yes/No,选择是否将window放在这里,如果No的话往右移动。
在此window内做attention,一个window输出一个token,不输出null