NeurIPS 2021 | 医学图像GAN生成，在Noisy Data上训练出超越监督学习的模型

最新推荐文章于 2023-08-27 16:26:01 发布
最新推荐文章于 2023-08-27 16:26:01 发布
阅读量1.3k 收藏 18
点赞数 3
文章标签： 网络 算法 python 计算机视觉 机器学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247494078&idx=2&sn=507966ce82a06851dc5e892df03326c5&chksm=fe2a4b05c95dc213b4d38275bad6efe82ab534cfde3e9933c31242d9d9c7da56876dc065e49a&scene=126&&sessionid=0
版权

点击上方“机器学习与生成对抗网络”，关注星标

获取有趣、好玩的前沿干货！

作者：藏云阁主  |  转自知乎  侵删

https://zhuanlan.zhihu.com/p/415238682

介绍一篇Manteia算法组的NeurIPS 2021 Spotlight文章。文章讨论的核心问题是，在医学图像生成领域，限制模型表现进一步提升的原因是什么？用什么方法可以打破该限制？我们希望通过这篇文章，给大家带来医学图像生成的新范式。

18cd781e595c80763868e372d8c056d2.png

Breaking the Dilemma of Medical Image-to-image Translation
论文：arxiv.org/abs/2110.06465代码：https://github.com/Kid-Liet/Reg-GAN

Introduction

Pix2Pix[1]和Cycle-consistency[2]是医学图像生成领域的两大主流模式。

对于Pix2Pix而言，它对训练数据的要求是比较严格的，必须是成对且像素级对齐的，当数据对齐质量下降时，模型的效果就会严重衰退甚至导致整个模式的崩溃，还有一个重要的事实是，像素级对齐的医学影像数据集很难获取，这是因为通常两种模态的影像不是同时采集的，在此期间患者的呼吸运动、身体解剖结构的变化等都会导致两组图像的misalignment。这一点我们将在后文的实验结果中展示。

另一种模式，Cycle-consistency对于数据质量的要求不如Pix2Pix那样严格，它可以接受source和target有misalignment的误差，但它也没有对这种misalignment进行处理，导致生成效果也没有达到最优，并且训练也非常不稳定。

立足于以上几个事实，我们提出了一种新的医学图像生成模式RegGAN。基于"loss-correction"[3]理论，未严格对齐的数据可以当作是有噪声的标签，而在生成器上使用一个额外的配准网络可以自适应地拟合这种噪声分布。

如此简单的模式，只要任意地将其嵌入到目前SOTA的几种图像生成方法里，就能有效地提高它们的表现。使用了该模式后，即使是CycleGAN也能超越较新的NICEGAN，甚至网络参数量还更轻量。

RegGAN Explained

让我们来具体看一下Pix2Pix、Cycle-consistency和RegGAN各自的结构。其中，X为source domain，Y为target domain。

559b45d213598d28167f34be2c7dd765.png

Pix2Pix是最像监督学习的一个模式，生成器G的loss来源主要有两个部分，一是生成图像G(x)与标签图像y的L1 loss，它的约束使得G(x)和y每一个像素点强度尽量一致，二是判别器D的Adv loss，它的约束要求G(x)能够骗过D，让D认为G(x)与y的图像强度分布是同一风格。

Cycle-consistency中有两个生成器G和F，以及两个D，G和F分别完成从X→Y和Y→X的生成，两个D则分别对这两个过程进行判别对抗，G和F的loss同样也有两个部分，一是由D传导过来的Adv loss，这部分的约束与Pix2Pix中相同，二是图像x本身与其依次经过G和F生成之后生成的图像F(G(x))之间的Cycle loss，该约束要求x与F(G(x))尽量相似。

要使Cycle loss最小，只需要x和F(G(x))之间相似就行，而对于G(x)则没有明确的约束。这就意味着Cycle-consistency的模式可能存在多解的情况[4]。例如，一个腹部的CT与MR配对的数据集，我们记CT为X，MR为Y，二者的空间位置并不是严格对齐的，这里我们可以假设的极端一些，假定CT中的body全都位于图像中心，而MR中的body相对于图像中心有上下左右四个方向各1cm的偏移。对于任意一张x，生成器G生成的G(x)就会有上下左右四个解，只要生成器F能够把任意空间位置的图像都转为中心对齐的图像F(y)，就能够满足Cycle loss。当然，这里只描述了空间上的转换，风格上的转换我们假定两个生成器都能完成。

而Pix2Pix则没有这个问题，对于任意一张x，生成器生成的图像G(x)只能是唯一解才能让L1 loss最小，这种唯一性是包含了空间位置和风格的。也正是因为如此，数据的misalignment会很大程度上影响生成器的效果。

RegGAN的核心正是对空间位置和风格转换的解耦。生成器的loss来源有两部分，一是由判别器D传导的Adv loss，与之前的两个模式相同，二是将生成图像G(x)经过一个配准器R后得到的R(G(x), y)与标签图像y之间的Correction loss。之所以叫做Correction，是因为我们认为一对misaligned图像相当于是有噪声的标签，而这个噪声主要是由空间位置的不对齐带来的，而配准网络所做的事情就是消除空间位置带来的噪声。

L1 loss、Cycle loss、Correction loss这三者的形式均为L1 loss，但计算的对象是不同的。当然，也可以换成L2 loss或是其他形式的regression loss。

与我们的工作最接近的工作是Arar.M et al[5]，他提出了一种用于自然图像多模态配准的方法，但是他们的工作聚焦于配准的效果而没有讨论这对于图像翻译的意义。而RegGAN的最大意义在于，证明了在医疗影像生成框架中使用配准网络能够带来显著的性能提升，这是一种全新的医疗影像生成模式。

Result

我们通过三个方面来评估RegGAN的效果：

  • 证明RegGAN模式在多种图像生成方法中的可行性和优越性 (Exp. 1)

  • 评价RegGAN对于噪声的敏感程度 (Exp. 2)

  • 探索RegGAN在非配对数据上的可行性 (Exp. 3)

我们使用了BraTS 2018数据集来评估。BraTS 2018数据集是对齐程度较好的数据集，为了对比不同方法在misaligned数据上的表现，我们对训练数据增加了轻微的随机的空间变化，如旋转、缩放、平移等。下表为不同方法的具体表现。

e8f725e57fe1fead142ccc1dccf3c559.png

表中C表示Cycle-consistency模式，C+R表示Cycle-consistency加上Registration，NC表示Non Cycle-consistency，也就是把cycle loss移除，NC+R表示在NC的基础上加上了Registration，也就是最基本的RegGAN模式。

Exp. 1 在不同的方法中使用以上四种模式：

  • 加入了Registration可以显著地改进各个方法的表现

  • C模式比NC模式普遍要好，而C+R与NC+R相比却没有明显优势，甚至有些还更差了，这意味着在使用了R之后，C就不再是提升性能的必要选择。另外，C模式必然包含2个生成器和2个判别器，相比于R来说，参数量更加臃肿。

9276bb94b505bd30d348b0f1d79c7415.png 1f7744b2f164d37778aee65215a3255c.png aa0b6a25850f540c57ee9d076519d94a.png

Exp. 2 评估噪声等级对模型性能的影响：

  • Pix2Pix模式的性能随着噪声增加而急剧下降

  • Cycle-consistency同样到噪声的影响，并且训练的loss非常不稳定，但在噪声较大的场景下比Pix2Pix要好

  • RegGAN受噪声影响程度低。另外，在Noise为0的情况下RegGAN依然优于Pix2Pix，理想情况下是不应该发生的，但实际情况是，完美的pixel-aligned医疗影像数据集几乎不存在，即使是BraTS 2018中依然存在轻微的misalignment，这一点可以从图5中明显地看出来，这也意味着RegGAN在广泛的数据集上都有应用价值。

cabcd6742592bddbc5caa72f10dcac0d.png

Exp. 3 Unpaired数据集上的表现：

  • Pix2Pix出现了模式坍缩，无论输入什么图像，生成器生成的图像几乎没有太大的变化

  • Cycle-consistency勉强能够work

  • RegGAN依然是这三种模式中最好的

Conclusion

从我们的实验结果中，我们得到三个结论：

  • 对于paired well-aligned数据集，RegGAN ≥ Pix2Pix > CycleGAN(C)

  • 对于paired misaligned数据集，RegGAN > CycleGAN(C) >Pix2Pix

  • 对于unpaired数据集，RegGAN > CycleGAN(C) >Pix2Pix

在本文中，我们向大家介绍了一种新的Image-to-Image的医疗影像生成模式 RegGAN，并解释了它的原理，证明了它能够在多种网络结构中起到改进作用。

Recruitment

b4ba2e94925bb871a37239c363bd56e5.png

Manteia数据科技是一家自适应放疗解决方案提供商，以算法为核心，致力于提高放疗精度与临床效率。加入我们，与优秀的人，做非凡的事，我们喜欢具有远大理想和脚踏实地的伙伴，提供充满竞争力的福利待遇，并且提供全世界范围的学习机会。简历投递wumingxia@manteiatech.com

参考

  1. ^https://arxiv.org/abs/1611.07004

  2. ^https://arxiv.org/abs/1703.10593

  3. ^https://arxiv.org/abs/1609.03683

  4. ^https://openreview.net/forum?id=B1eWOJHKvB

  5. ^https://arxiv.org/abs/2003.08073

猜您喜欢：
等你着陆！【GAN生成对抗网络】知识星球！

CVPR 2021专题1：GAN的改进

CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总

CVPR 2021 | 图像转换 今如何？几篇GAN论文

【CVPR 2021】通过GAN提升人脸识别的遗留难题

CVPR 2021生成对抗网络GAN部分论文汇总

经典GAN不得不读：StyleGAN

最新最全20篇！基于 StyleGAN 改进或应用相关论文

超100篇！CVPR 2020最全GAN论文梳理汇总！
附下载 | 《Python进阶》中文版
附下载 | 经典《Think Python》中文版
附下载 | 《Pytorch模型训练实用教程》
附下载 | 最新2020李沐《动手学深度学习》

附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！
附下载 |《计算机视觉中的数学方法》分享
机器学习与AI生成创作
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Medical-Report-Generation:关于自动生成医学影像报告的pytorch实现
05-02
关于自动生成医学影像报告 On the Automatic Generation of Medical Imaging Reports一个pytorch实现。 有关该文件的详细信息，请参见 。 表现 从模型only_training / only_training / 20180528-02：44：52 / 模式 BLEU-1 BLEU-2 BLEU-3 BLEU-4 流星 胭脂 苹果酒 火车 0.386 0.275 0.215 0.176 0.187 0.369 1.075 值 0.303 0.182 0.118 0.077 0.143 0.256 0.214 测试 0.316 0.190 0.123 0.081 0.148 0.264 0.221 纸 0.517 0.386 0.306 0.247 0.217 0.447
Learn_Noisy_Labels_Medical_Images:[NeurIPS 2020]在医学图像分割中将人为错误与地面真相区分开来
05-19
该存储库包含2020年NeurIPS 2020年论文的PyTorch实施。 是Python代码的主要开发人员。 是数据模拟代码的主要开发者。如何使用我们的代码进行进一步研究我们建议尝试使用的toy-example来了解管道，这是MNIST的简化...
【论文笔记】基于生成对抗网络（GAN）的无监督医学图像配准模型
zuzhiang的博客
03-17 6926
本文是论文 Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration（基于深度学习的配准中用相似性对抗网络来评估图像的对齐）的阅读笔记。 一、简介 一般的无监督配准模型是需要指定相似性指标，然后通过神经网络来最大化两幅图像之间的相似性，从而达到配准的目的。常用...
关于GANs在医学图像领域的应用
weixin_40920183的博客
09-30 1789
IntroductionGoodfellow等人引入了生成对抗网络(GANs)来模拟数据分布。GANs能合成真实图像，其原因与两个基本属性有关。GANs是一种无监督的训练方法，可以通过...
英伟达用GAN生成脑瘤图像，训练出的AI医生，准确率提高16%
量子位
09-17 1167
栗子脑 发自 凹非寺量子位 出品 | 公众号 QbitAI辅助医生做疾病诊断的AI，已越来越常见。从前，每只AI要吃下来自放射科的许多许多图像数据，学好图中的特征，才可能...
生成对抗网络（GAN）：在图像生成和修复中的应用
学IT，找陈寒
08-27 2538
生成对抗网络是由两个互相竞争的神经网络组成：生成器（Generator）和判别器（Discriminator）。生成器旨在生成逼真的图像，而判别器则试图将生成的图像与真实图像区分开。两者通过对抗性的训练相互提升，最终生成器生成的图像越来越接近真实图像。生成对抗网络在图像生成和修复领域展现出巨大的创新潜力。通过生成器和判别器的对抗性训练，GAN可以生成逼真的图像和修复损坏的图像部分。此外，生成对抗网络在其他领域也有着广泛的应用，未来随着技术的不断发展，我们可以期待更多创新的应用领域和更强大的GAN模型的涌现。
GAN中G同时生成两张图之GAN for Medical Imaging: Generating Images and Annotations
风一样的自由，色彩斑斓的雨季
02-22 758
原文链接：GAN for Medical Imaging: Generating Images and Annotations （需要翻墙） 在这篇文章中，我们将展示一种使用生成对抗网络(GANs)同时生成医学图像和相应注释的方法。我们使用心脏MR图像进行实验。对于模型开发，我们使用Keras和theano后端。 介绍： 器官的自动检测和分割在医学成像应用中有着巨大的作用。例如在心脏分析中，...
NeurIPS 2021 | 医学图像生成新范式！在Noisy Data上训练出超越监督学习的模型
阿木寺的博客
10-19 2717
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：藏云阁主 |已授权转载（源：知乎）https://zhuanlan.zhihu.com/p/41523868...
[Pytorch系列-64]：生成对抗网络GAN - 图像生成开源项目pytorch-CycleGAN-and-pix2pix : 有监督图像生成pix2pix的基本原理
文火冰糖（王文兵）的博客
12-20 1万+
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客 本文网址： 第1章 关键参考信息 1.1 项目详细 论文：Image-to-Image Translation with Conditional Adversarial Networks 论文链接：https://arxiv.org/abs/1611.07004 代码链接：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix 1.2 GAN工作原
医学图像处理——DeepDrr工具CT生成DRR
Matataya的博客
11-19 3090
DeepDRR工具，它可以将CT数据模拟X射线投影生成DRR数据。
GAN在医学图像生成中的应用
juluwangriyue的博客
11-16 5352
GAN在医学图像生成中的应用1、重建2、合成 GAN框架由生成器(G)、鉴别器(D)以及真实数据X的训练数据集组成。G生成器,是一个多层网络参数θG,旨在找到一种映射x = G(z,θG)。通过映射,G生成假数据。另一方面,鉴别器D(x;θD)旨在把假样本和真实数据区分开来。 min⁡Gmax⁡DV(D,G)=Ex∼pdata(x)[log(D(x))]+Ez∼pz(z)[1−log(D(G(z)))](1) \min_{G} \max_{D}V(D,G)=\mathbb{E}_{x\sim p_{dat
Noisy-Labels-with-Bootstrapping:Reed等人在Keras上通过Bootstrapping实施在带噪标签上训练深度神经网络的实现。 2015年
05-25
在60000个（MNIST训练集）嘈杂标签上训练模型。 图2中的分类准确度是根据10000个（MNIST测试集）真实标签计算得出的。 该体系结构是784-500-300-10 +一个具有10个单元的softmax层，而不是784-500-300 +一个具有10...
Robust Graph Learning From Noisy Data
02-11
Robust Graph Learning From Noisy Data
去噪远程监督开放域问题解答.zip
最新发布
03-08
这可能涉及到使用传统的机器学习算法、深度学习模型或者其他专门设计的方法。 模型评估和迭代：在独立的测试集上评估模型的性能，并根据评估结果对模型进行迭代优化。这可能包括调整模型参数、改进去噪方法或其他...
Noisy data elimination using mutual k-nearest neighbor for classification mining
02-21
Noisy data elimination using mutual k-nearest neighbor for classification mining
【每周CV论文推荐】GAN在医学图像生成与增强中的典型应用
hacker_long的专栏
09-29 2317
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。生成对抗网络是一项非常基础的技术，医学图像则是一个非常重要的应用方向，当前GAN在医学图像中陆续也有了一些比较重要的应用，本次我们来简单给大家推荐一些图像生成的工作。作者&编辑 | 言有三1 基础数据仿真GAN医学图像领域数据获取和标注成本非常高昂，...
【干货】生成对抗网络GANs算法在医学图像领域应用总结
热门推荐
图像算法Imalg的博客
07-29 1万+
Goodfellow等人,介绍了生成对抗网络（GAN）以模拟数据分布。由于与两个基本属性相关的原因，GAN可以合成真实图像。 GAN是一种无监督的训练方法，可以通过类似于人类学习图像特征的方式获取信息。 通过发现潜在的高维数据分布，GAN在特征提取方面具有良好的性能。 本文回顾了医学图像处理应用中提出的基于GAN的结构，包括去噪，重建，分割，检测，分类和图像合成。论文的分布如图1所示。 ...
ICLR 2021组监督学习: 属性可控的图像生成
idol24的博客
07-10 1170
点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！作者丨葛云皓编辑丨极市平台本文主要介绍一篇被 ICLR 2021 会议录用的一篇论文：《Zero-shot Syn...
【GAN】使用CGAN进行有监督的MNIST手写图片生成
liyihao17的博客
06-06 1515
一、CGAN CGAN要求在训练生成器和判别器时将标签也作为输入，所以在运用生成器生成数据时，加入标签，能够生成和标签标注相同的数据 二、代码解析 1、导入相关的模块，这里使用的是tensorflow2.0，keras已经被集成进去 import tensorflow as tf from tensorflow.keras.layers import Input, Dense, Reshape, Flatten, Dropout, multiply from tensorflow.keras.la
在灰度图像I1上增加不同类型（类型>=3）的噪声，分别生成噪声图像
05-25
好的，下面是增加不同类型噪声的代码示例： ```python import numpy as np import cv2 # 读入灰度图像 img = cv2.imread('path/to/image', cv2.IMREAD_GRAYSCALE) # 添加高斯噪声 mean = 0 variance = 100 sigma = np.sqrt(variance) gaussian_noise = np.random.normal(mean, sigma, img.shape) noisy_img_gaussian = img + gaussian_noise.astype(np.uint8) # 添加椒盐噪声 s_vs_p = 0.5 amount = 0.05 num_salt = np.ceil(amount * img.size * s_vs_p) num_pepper = np.ceil(amount * img.size * (1.0 - s_vs_p)) salt_coords = [np.random.randint(0, i - 1, int(num_salt)) for i in img.shape] pepper_coords = [np.random.randint(0, i - 1, int(num_pepper)) for i in img.shape] noisy_img_salt_pepper = img.copy() noisy_img_salt_pepper[salt_coords] = 255 noisy_img_salt_pepper[pepper_coords] = 0 # 添加泊松噪声 lam = 10 poisson_noise = np.random.poisson(lam, img.shape) noisy_img_poisson = img + poisson_noise.astype(np.uint8) # 显示原图和噪声图像 cv2.imshow('Original Image', img) cv2.imshow('Gaussian Noise', noisy_img_gaussian) cv2.imshow('Salt and Pepper Noise', noisy_img_salt_pepper) cv2.imshow('Poisson Noise', noisy_img_poisson) cv2.waitKey(0) cv2.destroyAllWindows() ``` 其中，高斯噪声利用 `numpy.random.normal` 函数生成，椒盐噪声利用随机数生成器在图像上随机生成椒盐噪声，泊松噪声则利用 `numpy.random.poisson` 函数生成。最后用 OpenCV 显示原始图像和添加噪声后的图像。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值