二、基于图像和结构化数据多模态融合的回归预测网络【框图讲解+源码】

已于 2023-12-30 14:57:33 修改
阅读量2.1k 收藏 25
点赞数 13
分类专栏： 11. 日常小实验 文章标签： 深度学习 python Pytorch 多模态融合 AI 神经网络 回归
于 2023-12-26 22:59:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rayso9898/article/details/135232732
版权

整理读研期间做的项目与日常小实验
本篇未完待续…代码部分整理后补充

0. 背景

实验室有一些材料的SEM（扫描电镜）图像、也有对应的组分信息（结构化数据，包含类别特征和连续的数值特征），以及对应的力学性能指标。
当时看多模态论文比较多，便想着既然有数据，正好可以用这些数据练习一下，于是，搭建一个多模态融合的模型，融合图像信息和材料的组分信息两种模态的数据信息，进行回归预测。

1. 网络结构

搭建的多模态融合模型框架如下图所示：
在这里插入图片描述

网络模型如下图所示：

网络结构

2. 结构分析

2.1 CBAM模块

CBAM模块如下：
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

2.2 网络A结构

在这里插入图片描述

2.3 网络B结构

在这里插入图片描述

2.4 AdaptiveFusion结构

(1) 结构1

在这里插入图片描述
在这里插入图片描述

(2) 结构2

Concat or Sum

(3) 结构3

MHSA
在这里插入图片描述

3. 代码

3.1 数据集制作划分代码

pass

3.2 模型结构代码

3.3 模型训练代码

3.4 相关绘图代码

附录1、CNN卷积层特征图可视化

下图为SEM图像中间特征层的可视化效果：
在这里插入图片描述
实现代码可以参考下面：
【卷积神经网络卷积层提取的特征图可视化】

pass
Multimodal Fusion（多模态融合）
nakaizura
03-28 20万+
Jeff Dean：我认为，2020年在多任务学习和多模态学习方面会有很大进展，解决更多的问题。我觉得那会很有趣。 多模态融合 （Multimodal Fusion） 一般来说，每一种信息的来源或者形式，都可以称为一种模态（Modality），目前研究领域中主要是对图像，文本，语音三种模态的处理。之所以要对模态进行融合，是因为不同模态的表现方式不一样，看待事物的角度也会不一样，所以存在一些交叉（所...
人工智能在放射组学、基因组学、病理组学结合的多组学方面的最新研究进展｜顶刊速递·25-01-16
罗小罗同学的博客
01-16 867
这篇文章通过整合多参数磁共振成像（mpMRI）与RNA测序数据，运用机器学习构建模型，对小儿低级别胶质瘤（pLGG）进行放射基因组学分析，为该疾病的预后预测和治疗方案选择提供了新方法与思路。研究背景：pLGG是常见儿童脑肿瘤，预后和治疗反应差异大。完全切除可获良好预后，但部分肿瘤无法全切致疾病进展。分子靶向治疗和免疫治疗为pLGG治疗带来希望，因此了解肿瘤生物学和免疫学特征对治疗至关重要。放射组学能通过量化肿瘤异质性，提供肿瘤分子组成的非侵入性生物标志物，有助于风险分层。材料与方法数据来源。
使用深度学习进行多模态数据融合以发现癌症生物标志物
cc1609130201的博客
05-02 2172
例如，2016年世界卫生组织对中枢神经系统肿瘤的分类，重新审视了分类弥漫性胶质瘤的指南，推荐结合分子标记（例如，异柠檬酸脱氢酶1和2（IDH1/2）突变状态）进行组织病理学诊断，因为单独的每种模式都不足以解释患者预后的差异。虽然深度学习可以从复杂数据中提取预测特征，但这些特征通常是抽象的，而且并不总是明显的，它们在临床上是否相关。一种流行的方法是数据增强，它可以包括基本的数据转换以及合成数据的生成，但其他策略，如半监督学习、主动学习、迁移学习和自动注释，已经被证明是克服标签数据稀缺的有前景的途径。
深度学习之图像回归（一）
最新发布
zhengyawen666的博客
02-17 1557
图像回归任务主要是理解一个最简单的深度学习相关项目的结构，整体的思路，数据集的处理，模型的训练过程和优化处理。 因为深度学习的项目思路是差不多的，主要的区别是对于数据集的处理阶段，之后模型训练有一些小的差异。 现在以回归项目进行切入点来理解模型训练的流程。模型训练的目的是通过训练集进行模型训练 最终得到一个优化后的最佳的模型 帮我们完成对数据的预测 比如根据一个数据的多个描述维度 最终得到标签对应的预测值 整体步骤如下：准备数据（输入 x 和目标 y）。初始化模型参数。用模型预测输出 y^​。计算损失值
多模态(RGB-D)——深度融合网络
小花生的博客
10-04 1万+
《Deeply-Fused Nets》 2016，Jingdong Wang et al. 深度融合网络 1.引言： 中心思想是深度融合,就是结合几个基网络(base networks)的中间表达(intermedia representations)作为每个基网络剩下的部分的输入,然后在几个中间表达上用了深度的结合.这个深度融合网络有几个优势: （1）.它可以学到多尺度(multi-scal...
Keras-CNN: 对本地文件夹中的图像做回归预测 (tensorflow 2+适用)
ReaderWithNoEmotion
02-24 3515
系列目录 https://www.pyimagesearch.com/start-here/ 从入门到高级都有了，好像是一个博士生创建的博客。在： Step#10 Multi-Input and Multi-Output Networks(Advanced) 中，我找到了如下很有帮助的内容。 主教程 https://www.pyimagesearch.com/2019/01/28/keras-regression-and-cnns/ 如题，这个介绍了Keras创建CNN网络，对本地的图像和标签做
多模态网络
一去不复返的通信er
06-20 5194
关于多模态网络的一些基础概念
用照片预测人的年龄【图像回归】
新缸中之脑
11-16 1766
由于一些奇怪的原因，我为这个项目工作的 Kaggle Kernel 没有成功提交。所以，我把笔记本放到了我的GitHub上。使用 Fastai v1 模型并选择 CNN 架构 — ResNet34 来运行该模型。我尝试使用更复杂的架构，例如 ResNet50，但发现验证错误更高。在这个notebook中，我使用了图像调整大小技术，其中图像尺寸逐渐增加，这有助于获得更高的精度。这是一项非常棒的技术，每次我们需要处理 CNN 时都必须使用它。
面向深度学习的多模态融合技术研究综述
关于我的学习记录
12-12 1万+
多模态融合的主要目标是缩小模态间的异质性差异，同时保持各模态特定语义的完整性，并在深度学习模型中取得较优的性能。
多模态融合（Multimodal Fusion）
gaesarGatt的博客
12-08 5093
（Multimodal Fusion）是指将来自不同模态（如图像、文本、语音、传感器数据等）的信息进行整合、联合分析和处理，以便全面理解、推理和应用这些数据。多模态融合是人工智能、计算机视觉、自然语言处理、机器人学等领域的核心技术之一，具有广泛的应用前景，尤其在自动驾驶、智能机器人、智能医疗、虚拟现实/增强现实（VR/AR）等领域得到了重要应用。
基于生成对抗网络的多模态图像融合
02-11
针对多模态图像融合中多尺度几何工具和融合规则设计困难的问题,提出一种基于生成对抗网络(GANs)的图像融合方法,实现了多模态图像端到端的自适应融合。将多模态源图像同步输入基于残差的卷积神经网络(生成网络),通过网络的自适应学习生成融合图像;将融合图像和标签图像分别送入判别网络,通过判别器的特征表示和分类识别逐渐优化生成器,在生成器和判别器的动态平衡中得到最终融合图像。与具有代表性的融合方法相比,实验结果表明,本文方法的融合结果更干净,没有伪影,提供了更好的视觉质量。
Fashion minist机器学习python TensorFlow图像线性回归预测分类 有tensorboard
10-09
老款的minist已经被玩烂了，这款fashion minist数据集用来新手练手学习十分适合
多模态回归—不止L1与L2损失
Cratial
12-07 3396
前言：本篇博文为译文，翻译自Patrick Langechuan Liu 发表在towards data science的博文 “Multimodal Regression — Beyond L1 and L2 Loss” 原博文链接：https://towardsdatascience.com/anchors-and-multi-bin-loss-for-multi-modal-target-regression-647ea1974617 原博文撰写时间：2019-09-30 深度学习最著名的应用是
多模态融合 Multimodal Fusion
热门推荐
Slientsake的博客
06-23 3万+
多模态机器学习MultiModal Machine Learning (MMML)，旨在通过机器学习理解并处理多种模态信息。包括多模态表示学习Multimodal Representation，模态转化Translation，对齐Alignment，多模态融合Multimodal Fusion，协同学习Co-learning等
“闭门造车”之多模态思路浅谈：自回归学习与生成
Paper weekly
07-11 1038
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 科学空间研究方向 | NLP、神经网络这篇文章我们继续来闭门造车，分享一下笔者最近对多模态学习的一些新理解。在前文《“闭门造车”之多模态思路浅谈：无损》中，我们强调了无损输入对于理想的多模型模态的重要性。如果这个观点成立，那么当前基于 VQ-VAE、VQ-GAN 等将图像离散化的主流思路就存在能力瓶颈，因为只需要简单计算一下信息熵就可以...
通过使用卷积神经网络模型直接从图像中回归预测目标的边界框位置和类别的实现过程
weixin_66423182的博客
06-06 1042
在YOLO算法中，将目标检测任务转化为回归问题的关键是通过卷积神经网络（CNN）模型来直接预测目标的边界框位置和类别。下面是实现这一步骤的具体方法：
多模态超连接功能网络--文章简单解读
baidu_37122643的博客
05-06 962
多模态超连接功能网络–文章简单解读 Multimodal hyper-connectivity of functional networks using functionally-weighted LASSO for MCI classification Li Yang et.al 文章链接: https://doi.org/10.1016/j.media.2018.11.006. 创新：提出基于...
多模态特征融合——基于BERT和ResNet152模型
小嘤熊的博客
11-06 3420
它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model（MLM），以能生成深度的双向语言表征。等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络，并在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低，效果非常突出。ResNet的结构可以极快加速神经网络的训练，模型的准确率也有比较大的提升。如果你想要进一步了解更多的相关知识，
U-Net SeResNext50 + CBAM + hypercolumns + deepsupervision结构框架图
06-01
很抱歉，作为一个语言模型，我无法为您提供图片或绘图。但是，我可以为您提供一些文字描述： U-Net SeResNext50 + CBAM + hypercolumns + deepsupervision 是一个基于 U-Net 架构的深度学习模型，用于图像分割任务。它结合了 SeResNext50、CBAM、hypercolumns 和 deepsupervision 等多种技术，以提高模型的性能和精度。 在这个模型中，SeResNext50 是指使用了 SeResNext50 模型作为 U-Net 的编码器。CBAM 是指使用了 CBAM（通道注意力机制块）来增强模型的注意力机制。Hypercolumns 是指将来自不同层的特征图进行融合，以提高分割结果的精度。DeepSupervision 是指在模型中加入多个辅助分支，以提高训练效果。 因此，U-Net SeResNext50 + CBAM + hypercolumns + deepsupervision 的结构框架图将会包括 U-Net 架构、SeResNext50 编码器、CBAM 注意力机制块、hypercolumns 融合、deepsupervision 辅助分支等多个部分。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ray Song

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值