AI换脸原理(7)——人脸分割参考文献TernausNet: 源码解析

1、介绍

这篇论文相对来说比较简单，整体是通过使用预训练的权重来提高U-Net的性能，实现对UNet的改进。该方法也是DeepFaceLab官方使用的人脸分割方法。在介绍篇我们已经讲过了UNet的网络结构和设计，在进一步深入了解TernausNet之前，我们先简单回顾下UNet。

U-Net的主要结构包括编码器、解码器和瓶颈层三个部分。编码器用于下采样和特征提取，由多个卷积层、ReLU激活函数和最大池化层组成。每次下采样后，输出特征图的尺寸减半，通道数翻倍。解码器则用于图像尺寸还原及分割，由多个上采样层、卷积层和ReLU激活函数构成。此外，U-Net引入了跳跃连接（Skip-connect），将编码器中的特征图与解码器中对应层的特征图连接起来，以恢复丢失的空间信息并提升分割细节。

总结一下，下采样-上采样-跳跃连接。

• 那么回到本篇论文，作者提到在大多数情况下，用于图像分割的数据集最多由数千张图像组成，因为手动准备掩码是一个非常昂贵的过程（像素级别标记类别，工程量非常大），因此容易导致过拟合问题。通常U-Net是从随机初始化权重开始从头开始训练的。而如果使用一些大数据量训练的模型权重那么可能会一定程度上缓解过拟合问题，比如在Imagenet数据集上训练的网络被广泛用作其他任务中网络权重初始化的来源。