医学图像小数据深度学习_夏勇教授

录播见链接：https://space.bilibili.com/269362804/

---

轻量化模型

MRI图像分割

DSTS模块降低参数量

Attention机制用于X光胸片/皮肤癌

Attention
1.特征更紧致
2.特征更准确
相关：CBAM等

x光胸片

因为数据中有病灶的阳性数据较少，所以进行多类肿瘤分别时是一个弱监督问题。所以加入attention机制提取病灶位置:

思路：病灶大小不一，期望通过Scale-attention来解决这一问题，同时也有其他的channel等attention。

结果展示：

皮肤癌

认为分类模型能够学到attention但是比较靠后，所采用下图c的方法进行一个attention，不用新增参数。此模块称为ARL模块

结果展示：

多监督处理少样本问题

视网膜眼底血管分割

难点：血管粗细不一，样本量少

网络结构：

不同尺度上约束，来达到粗细血管都有用的效果。

磁共振图像做前列腺分割

网络结构：

分析：三维部分基于区域分割，二维部分基于边界分割。用密集链接和mutil-scale

分割和校验

目的：既定的分割模型上提高风格校验结果

病理图像的分割

上图：predicted和ground之间的真实误差去预测误差。然后用预测误差去矫正预测。另外训练一个矫正模型。
存在问题：预测分割误差本身不容易，存在预测错误，使得矫正错误。
进一步改进方案：将预测误差作为分割的attention。

上图：region by region的去验证矫正是否接受。
结果：

用GAN生成合成数据

用于AD病人的数据扩充

解决问题：并不是所有病人都有成对的MRI和PET数据，用MRI生成对应的PET数据。

模型：类似于cycleGAN
结果：效果好，成对的数据量上去了
存在问题：没见过的diseased pattern是学不到的（正常病人没有diseased pattern），生成图像会受训练数据的影响
解决方法：不同scale上的feature map去约束（MRI上有AD，PET上也应该有AD）

关注生成网络生成的是数据还是数据源

半 / 弱 监督

肺结节联合型分类

上图：用自编码网络x=f（x）学习特征（可以用unlabel的数据，用到对抗的思想，判别x与f（x）是否相等），之后再分类（只能用有label的数据）
注意：分类器的encoder一致，参数不共享，上下两个摸块特征结合，避免自编码网络提取的与背景相关的细节特征对分类的影响。

实验结果：

分割和分类放入同一个框架

皮肤癌的分割和分类

希望二者相互辅助，将分割和分类放入一个框架

上图：先进行粗分割，再分类，再细分割（attention map 共享），通过指示病灶在哪儿里来更好的分割。
结果：（有类别标签数据加进去能降低分割数据的需求）

结语：
1.机器会模仿和放大人类的偏差。
2.CAD的泛化问题
3.医院之间的标注偏差问题
4.人的优势，直觉不需要计算，期望决策过程中人机双向耦合
5.对抗样本的安全问题，医疗数据安全和隐私保护问题