Memory Fusion Network for Multi-view Sequential Learning注意力融合MFN

记忆融合网络MFN

第一个组成部分：每个视图都被赋予一个LSTM函数组件独立编码每个视图

第二个组成部分：Delta-memory Attention Network (DMAN) ，通过lstm系统来发现跨视图交互作用

第三个组成部分：存储跨视图信息在多视图门控记忆

 

视图N={l,v,a}

第n个视图的输入数据Xn = 【xn]

1.System of LSTMs

对于第n个视图，分配的LSTM被表示为，t是时间戳

每个LSTM的输出定义为

System LSTM允许不同视图具有不同输入、记忆和输出形状

第n个LSTM的更新规则如下：

i、f、o是输入、遗忘、输出门

是第nLSTM建议的记忆更新

2.Delta-memory Attention Network

目标：在时间t上勾勒出跨视图交互在System LSTM的不同视图中

 

DMAN的输入是t-1和t时刻存储器的连接，表示为

这些记忆被通过一个神经网络，获得注意力系数

应用softmax在Da的输出层，允许调高系数对

DMAN的输出是

3.Multi-view Gated Memory

DMAN输出作为输入通过神经网络

r1表示记住多少多视图门控存储器的当前状态，r2表示根据更新建议ut更新多少多视图门控存储器

r1和r2各有一个神经网络控制

MFN输出：