这是一篇应用创新型文章,因此仅作较为精简的笔记。
本文使用GAN进行视网膜眼底图像合成,并将其应用于视网膜血管图分割模型的训练。
在本文之前,也有人使用过GAN进行视网膜眼底图像合成,缺点是:
由于采用(视网膜血管网络,视网膜眼底图像)成对训练,且视网膜血管网络又由真实视网膜图像经过另一个分割网络得到,所以一旦原始图像失焦,视网膜血管网络就会不完整,进而影响图像合成
本文提出的方法不再依赖于这个独立的视网膜血管分割模型:
在训练时,可以看到,红色框内部就是通常的GAN结构,采用(视网膜血管网络,视网膜眼底图像)成对训练,而作为用来生成视网膜眼底图像的血管网络,由蓝色框内所表示的autoencoder得到。
在测试时,只需取得latent space,生成血管网络图像,再生成最终的结果,即视网膜眼底图像。
以下是训练时更加细节的流程图:
图中左半部分是用来寻找latent space的auto-encoder。右半部分可以看作是GAN的一种小变形。
对于auto-encoder: