BahdanauAttention与LuongAttention两种注意力机制大体结构类似,都是基于attention的框架设计,主要的不同点就是在对齐函数上,在计算第 个位置的score,前者是需要使用 和 来进行计算,后者使用和计算,这么来看还是后者直观上更合理些,逻辑上也更顺滑。两种机制在不同任务上的性能貌似差距也不是很大,具体的细节还待进一步做实验比较。
Attention机制 之 BahdanauAttention与LuongAttention
最新推荐文章于 2024-05-22 17:13:59 发布