在本文中,我们提出了一个新的多模态动态融合网络(MM-DFN),通过充分理解多模态对话环境来识别情绪。具体来说,我们设计了一个新的基于图的动态融合模块来融合对话中的多模态背景特征。该模块通过捕捉不同语义空间中语境信息的动态变化,减少了冗余并增强了模式间的互补性。
我们用门控机制改进了图卷积层[17],并设计了一个新的基于图的动态融合(GDF)模块来融合多模态语境信息。该模块利用图卷积操作将模式间和模式内的情境信息聚合到每一层的特定语义空间中。同时,门控机制被用来学习相邻语义空间中情境信息的内在顺序模式。GDF模块可以控制各层之间的信息流,减少冗余,促进各模态之间的互补。GDF的堆叠可以通过将多模态语境特征嵌入到动态语义空间中,自然地融合多模态语境特征。最后,一个情感分类器被用来预测语词的情感标签。
必须会写的代码集合:
- https://blog.csdn.net/yjw123456/article/details/120232707(bert的使用)