[风格迁移系列五: WaveCT-AIN] 医学图像的风格迁移和跨域自适应（泛化性）

不同于自然图像的风格迁移，在临床应用上，医学图像更加注重图像生成的纹理细节，并且需要实时的推理速度。因此提出一个实时且高质量的风格迁移方法非常重要，这篇论文实现了这个方法：
Remove Appearance Shift for Ultrasound Image Segmentation via Fast and Universal Style Transfer
大家在无法提升模型准确率的情况下，何不尝试下该方法，只需要额外的0.1s左右的处理时间（下文有代码）。

一、背景介绍

该论文采用的数据是调整了不同TGC协议的图像。其中，每组数据包含一张原始图像和对应的四种不同TGC协议图像。上图展示的是仅在原始图像上训练好的分割网络，采用四种不同协议图像的分割测试结果。可以很明显的看出分割性能的下降，因此该文的目标是仅通过原始图像的训练集，来提升分割模型的泛化性能。

二、方法介绍

该方法包括三个部分，首先是一个基于LBP特征的风格选择模块，然后是一个预训练好的风格迁移网络和在源域数据（原始图像数据）上训练好的分割网络。总的前向流程如下：通过风格选择模块为每一个测试图像（内容图：content）选择一个风格图（源域数据）。然后通过预训练好的风格迁移网络将源域数据的风格传递给内容图，得到风格化后的结果。最后再输入预训练好的分割网络中进行分割。下面依次对每个模块做出简单介绍：

风格选择模块
由于LBP特征具有灰度不变性和旋转不变性等显著优点，该文采用此经典方法来选择合理的风格图。具体的算法细节可以参考如下博客：

1. LBP特征
2. LBP特征及其变体和python实现

风格迁移网络
该网络的主要架构是一个VGG和反VGG的对称结构，在此基础上加入了跳跃连接。该网络的核心思想采用了Harr滤波器，将表示边、角等高层语义信息的高频信号通过跳跃连接传到解码器中，防止高频信号的丢失；在网络的主枝干中仅传入表示低层纹理信息的低频信号，从而来实现风格纹理的的传输。具体可参考这篇文章：
Photorealistic Style Transfer via Wavelet Transforms

三、实验介绍

实验数据集共包含180组胎儿头部和198胎儿腹部超声图像，每一组由一张原始图像（训练集）和四种不同TGC协议的图像（测试集）组成。以下表格依次是在胎儿腹部和胎儿头部的不同方法对比结果：


可以看出，该作者提出的方法能够以非常快的处理速度，实现分割网络泛化性能的显著提升。
不过作者只公布了base的代码，完整的代码尚未公布，大家可以尝试在此基础上进行修改。

~~~~~~~~~~~~~

相关代码：pytorch 代码