二、基于图像和结构化数据多模态融合的回归预测网络【框图讲解+源码】

整理读研期间做的项目与日常小实验
本篇未完待续…代码部分整理后补充

0. 背景

实验室有一些材料的SEM（扫描电镜）图像、也有对应的组分信息（结构化数据，包含类别特征和连续的数值特征），以及对应的力学性能指标。
当时看多模态论文比较多，便想着既然有数据，正好可以用这些数据练习一下，于是，搭建一个多模态融合的模型，融合图像信息和材料的组分信息两种模态的数据信息，进行回归预测。

1. 网络结构

搭建的多模态融合模型框架如下图所示：

网络模型如下图所示：

2. 结构分析

2.1 CBAM模块

CBAM模块如下：

2.2 网络A结构

2.3 网络B结构

2.4 AdaptiveFusion结构

(1) 结构1

(2) 结构2

Concat or Sum

(3) 结构3

MHSA

3. 代码

3.1 数据集制作划分代码

pass

3.2 模型结构代码

3.3 模型训练代码

3.4 相关绘图代码

附录1、CNN卷积层特征图可视化

下图为SEM图像中间特征层的可视化效果：

实现代码可以参考下面：
【卷积神经网络卷积层提取的特征图可视化】

pass