GNN有个很重要的创新思路:结合多模态。加上近两年多模态爆火,GNN+多模态自然也成为了研究和实践的热门方向。
这种结合能够整合多种数据,通过GNN提取信息、捕捉模态关系,提升性能。另外GNN在多模态融合(包括早期、中期和晚期融合)中可以平衡特征交互,动态优化效果,实现模型性能和预测准确性的全面提升。
因此,GNN+多模态的应用场景非常广泛,研究成果颇多,顶会顶刊占比较大,比如上海交大发表在《cell》子刊上的一篇,讲的是一种基于局部到全局多模态融合GNN的方法,用于抑郁症的诊断。再比如Neurips上的MuSe-GNN、AAAI上DDI预测新方法MKG-FENN...还有一些《Nature》子刊成果。
本文从中挑选了12篇GNN+多模态新成果,方便感兴趣的同学了解这方向的研究进度,代码开源的都附上了,有问题欢迎友好交流。
全部论文+开源代码需要的同学看文末
MuSe-GNN: Learning Unified Gene Representation From Multimodal Biological Graph Data
方法:作者利用多模态相似性学习图神经网络(MuSe-GNN)结合深度图神经网络和多模态机器学习,以解决基因表示学习中的数据异质性问题,通过单细胞测序和空间转录组数据创建信息丰富的图结构,显著提升了基因功能预测的准确性,并揭示了疾病相关基因的潜在机制和调控网络。