(学习笔记)：Integrate domain knowledge in training multi-task cascade deep learning model

葛葎蔓酒花

于 2022-04-23 10:06:00 发布

阅读量345

点赞数

分类专栏：笔记文章标签：深度学习

本文链接：https://blog.csdn.net/jtup1253/article/details/124359705

版权

笔记专栏收录该内容

9 篇文章 0 订阅

订阅专栏

一、模块总览

多任务级联深度学习模型（MCDLM），它整合了放射科医生的各种领域知识（DK），并使用多模态超声图像进行甲状腺结节的自动诊断。具体来说，我们在放射科医生的标记指导下，将 U-net 学习到的知识从源域转移到目标域，以获得更准确的结节分割结果。然后，我们将结节的超声特征 (UF) 量化为条件，以帮助双路径半监督条件生成对抗网络 (DScGAN) 生成更高质量的图像，从而获得更强大的鉴别器。

DK在该部分中的作用主要包括两部分：

（1）放射科医生的标记，

（2）结节超声特征（UF），其中UF包括TI-RADS描述的结节B超特征和弹性成像图像中的硬度信息医生的标记在本模块中起到了辅助计算机训练与识别的作用而这个UF就是我们上一篇论文中后续使用的“DK” UF基于本模块中生成的nOU、nOB、nOE生成（之后继续讨论它的生成过程）。

本文提出的MCDLM模型主要包括三个步骤：

（1）去除背景，提取ROI；（图片预处理工作）

（2）在放射科医生标记的指导下自动分割结节；（VGG13的uNet）

（3）获取DK特征；(基于处理后的结果以及TI-RADS（甲状腺超声检查TI-RADS分级）

（4）构建和训练DScGAN模型和S3VM进行特征提取和甲状腺结节分类。（上一篇论文重点在于该模型的后半部分）

二、预处理

（1）去除背景。原始超声图像含有大量对训练无益的干扰信息，如医院信息、超声设备参数等。由于背景区域和超声图像区域（灰色区域）之间的像素值为0，我们可以自动删除上述无用信息。最后，得到实际的超声图像区域.

（2）提取ROI。在去除无用的背景区域后，我们可以自动分离B-模式图像和弹性成像图像。我们首先获得弹性成像中RGB图像的位置信息（get c1位置）,因为图片位置相互对应，我们可以自动get（c2）中的矩形框区域。为了得到带有十字符号（c3）的结节ROI，我们首先通过直接缩放将（c2）与（b2）相匹配，然后根据矩形框的位置裁剪出包含十字符号（d3）的结节ROI

（3）以矩形框的中心为中心，使用矩形框的较短边作为边缘，切出一个正方形的 ROI。这样就得到了OE patch、OB patch、OM patch. 由两位经验丰富的放射科医生的指导下手动分割 OM 贴片中的结节区域，OM patch中的非结节区域设置为0，定义为OS patch。这样后续工作所需要的所有组件都准备完毕.

三、VGG13 U-Net