（学习笔记）DScGANS: Integrate Domain Knowledge in Training Dual-Path S3VM for Ultrasonography Thyroid Nod

一、前置知识备忘录

逆卷积：[基础知识整理] 逆卷积（Deconvolution） - 知乎 (zhihu.com)

BN算法：【基础算法】六问透彻理解BN(Batch Normalization） - 知乎 (zhihu.com)

Gan损失公式的理解：GAN原始损失函数公式理解 - 知乎 (zhihu.com)

希尔伯特空间：(23条消息) 用人话说说希尔伯特空间？？_机器学习算法那些事的博客-CSDN博客

dropout算法：(23条消息) 理解dropout_张雨石的博客-CSDN博客_dropout

浅谈上采样：【学习笔记】浅谈Upsampling - 知乎 (zhihu.com)

S3VM:(23条消息) Semi-Supervised Support Vector Machines(S3VMs)_extremebingo的博客-CSDN博客

二、对前置知识的简单总结：

（1）GANs简介

 

（2）Deconv简介

 

（3）S3VM简介

 

 ​​​​​​

 

（4）BN简介

​​​​​​​​​​​​​​

 

 

 三、DScGans

3.1  主模块

       DScGANS模型的框架，其中fc表示全连接层，fdr表示特征降维层，jln表示联合学习网络。医学图像数据集固有的小样本特征可能会使半监督学习过程不稳定，从而导致结果混合甚至降低模型的性能。  

      为解决这种问题，提出了 DScGANS 模型（双路径半监督条件生成对抗网络）和 S3VM（半监督支持向量机）），如图所示，在训练双路径半监督条件生成对抗网络和 S3VM 中集成领域知识，用于超声检查甲状腺结节分类 该模型包括三个步骤：

       （1）图像预处理和增强，（2）获取DK（领域知识），然后使用B-mode和弹性数据作为输入，在DK约束下训练DScGAN组件（DScGAN-A/B），（3）将鉴别器网络保存为特征提取网络，并连接倒数第二个完全连接层的输出图像表示（输出结果包括深度特征和DK），作为S3VM甲状腺结节分类的输入。

      关于DK  :

          （1）量化了TIRADS描述的B超图像中甲状腺结节的特征和弹性图像中病灶组织的硬度信息，并将其作为领域知识（DK）促进半监督学习。

          （2）DK 充当条件约束生成器以产生更高质量的图像    

          （3）DK+判别网络将学习 DK+深度特征+类标签之间的相关信息当DK 与未标记数据的深层特征连接，相关信息可以作为未标记数据的条件约束，未标记数据的模糊性将显着降低。

          （4） DK 被用作约束 S3VM 进行甲状腺结节分类的条件

3.2  预处理模块

           从每个B模式图像中，使用MCDLM获得感兴趣的方形区域（ROI），并将ROI定义为OB patch。根据B模式ROI位置获得弹性ROI，并将其定义为OE patch。使用  VGG13半自动分割OB patch中的结节区域；然后，我们将结节区域的像素值设置为255，非结节区域的像素值设置为0，并将其定义为OS patch。最后，OB patch、OE patch和OS patch的大小调整为128*128。      OSpatch仅用于自动提取DK，而OB和OE patch是DSCGAN-A和DSCGAN-B的输入。

3.3  gan网络模块

 

        DScGAN组件是由sGAN和cGAN组合而成的     Generator生成器: 我们用G来表示，其中每个输入的随机噪声向量都具有对应的领域知识作为条件领域知识，而这种噪声向量是从与假图像对应的真实图像中获得的。      

        Discriminator判别器：jln 由两个全连接层组成，用于学习 DK、深度特征和标记数据的类标签之间的相关信息。假设真实图像块有 k 个类别，我们将 G 生成的图像块定义为第（k+1） 类，最后一个全连接层前k个是softmax神经元，第k+1个是sigmoid神经元。 这样判别器的输入就包括三类，有标签图、无标签图以及假图        

     判别器网络同时执行两个任务：将标记的数据分类到特定的类别，并确定未标记的数据的真假。在训练过程中，这两个任务可以相互影响和促进，以便判别器可以从未标记的数据中获益。