AdaResU-Net论文笔记，MOEAD + 网络架构训练

最近在准备开题，研究方向与MOEAD 和 神经网络架构搜索有关，想了解一下两者具体是怎么结合的。

看到一篇论文：《AdaResU-Net: Multiobjective adaptive convolutional neural network for medical image segmentation》

地址：https://www.sciencedirect.com/science/article/pii/S0925231219304679

 

1.简介

        多目标进化算法（MOEA）已成功且广泛地用于解决多个问题，并且需要将竞争目标最小化，并且通常没有可行的方法，可以同时优化它们。MOEA旨在找到一组可行的解决方案，这些解决方案代表了称为Pareto最优解的目标函数值之间的折衷。除了能够在多目标优化问题中逼近一组Pareto最优解外，进化算法（EA）还用于设计神经网络架构，因为它们依赖于随机梯度训练的无约束优化过程。而且，已经开发了各种并行化技术来减少优化时间。并允许灵活的解决方案表示形式。EA使用基于种群的优化算法，该算法通过使用遗传算子（例如选择，突变和交叉）生成损失函数值比其前任更低的架构。这些遗传算子在超参数搜索空间的探索和利用之间提供了折衷方案。

        在本文中，我们提出了一种用于磁共振成像（MRI）分割的新卷积神经网络，该网络能够在最小化网络规模的同时自动适应新的数据集。所提出的架构称为AdaResU-Net，具有固定的基本结构，该结构结合了U-Net的良好对称性和跳过连接，并以剩余框架作为构建块，以提高信息传播和速度培训过程。AdaResU-Net具有一组不固定的超参数，这些超参数是通过使用基于多目标进化算法的学习框架自动选择的。提出的学习框架MEA基于MOEA / D算法并演化出具有两个目标功能的模型：分割精度和可训练参数的数量。

 

2.相关工作

        MOEA是一种多目标算法，可以通过将初始候选种群共同演化为一组Pareto最优解来解决MOP。MOEA的两个主要目标是紧密逼近真正的帕累托前沿，并产生各种帕累托最优解。基于分解的MOEA（MOEA / D）是一种满足上述两个目标的进化算法，因此足以在我们的学习框架中找到最佳候选AdaResU-Net集。

        与大多数MOEA相反，MOEA / D将MOP分解为多个标量优化子问题，这些子问题更容易解决，并且每一代的计算复杂度都较低。此外，在求解MOP时，MOEA / D不会添加约束，这在我们的方法中是必需的，因为神经网络是通过无约束的优化 算法（随机梯度下降）进行训练的。

 

3. 方法

        AdaResU-Net模型由固定架构和学习框架组成，该学习框架选择最适合特定数据集的超参数集。超参数搜索空间限于学习率，过滤器数量，内核大小，丢失概率和激活函数。提出的MEA学习框架使用基于MOEA / D的算法和PBI方法来演化具有两个目标功能的候选AdaResU-Net网络：分段精度和模型大小。经过指定的代数后，可以获得近似的帕累托锋。

3.1 学习框架

        拟议的MEA学习框架旨在获得AdaResU-Net架构配置，该配置可最大程度地提高分割精度，同时又可以最小化模型的大小。细分精度是通过Dice相似系数（DSC）定义的：

        使用Dice系数是因为它能够处理分割医学图像时通常出现的背景像素和前景像素之间的不平衡。因此，最大化分割精度等同于最小化1-DSC。我们称1-DSC为骰子丢失功能。

        为了使模型的尺寸最小化，我们测量了网络中可训练参数的数量。优化模型的公式如下：

        本文的MEA学习框架的概述如下：

        （1）首先，通过生成大小为 N 的候选AdaResU-Net架构的初始填充来初始化该方法。这是通过从超参数空间中随机选择基因型并将其解码为网络配置来完成的。

        （2）使用反向传播算法 和 ADAM优化器 对候选人进行培训来自基因型的学习率值。

        （3）将MEA算法应用于指定数量世代的初始种群进化。在每一代中，MEA都会根据当前的最佳解决方案生成新个体的基因型，并将其解码为候选AdaResU-Net，然后通过反向传播对其进行训练。每个个体都可以通过上式，然后通过PBI方法更新最佳解决方案集。

        （4）在终止时，MEA算法将提供近似Pareto Front的解决方案，或者换句话说，提供在两个目标函数之间取得最佳折衷的网络配置。