CtrlZ1
浮天水送无穷树,带雨云埋一半山。
展开
-
AI换脸原理(7)——人脸分割参考文献TernausNet: 源码解析
这篇论文相对来说比较简单,整体是通过使用预训练的权重来提高U-Net的性能,实现对UNet的改进。该方法也是DeepFaceLab官方使用的人脸分割方法。在介绍篇我们已经讲过了UNet的网络结构和设计,在进一步深入了解TernausNet之前,我们先简单回顾下UNet。U-Net的主要结构包括编码器、解码器和瓶颈层三个部分。编码器用于下采样和特征提取,由多个卷积层、ReLU激活函数和最大池化层组成。每次下采样后,输出特征图的尺寸减半,通道数翻倍。原创 2024-05-08 14:09:27 · 190 阅读 · 0 评论 -
AI换脸原理(2)——人脸检测参考文献S3FD:源码解析
S3FD是一个实时人脸检测器,这篇论文的主要思想是试图解决一个常见的问题,即基于anchor(锚点)的检测器随着人脸变小而急剧恶化。基于锚点的目标检测方法是通过对一系列预设锚点进行分类和回归来检测目标的,这些锚点是通过在图像上有规律地平铺一组不同尺度和宽高比的方框而产生的。这些锚点与一个或几个卷积层相关联,其空间大小和步幅大小分别决定了锚点的位置和间隔。将锚相关层进行卷积以对相应的锚进行分类和对齐。与其他方法相比,基于锚点的检测方法在复杂场景下具有更强的鲁棒性,且检测速度不受目标数量的影响。原创 2024-05-08 13:23:16 · 426 阅读 · 0 评论 -
AI换脸原理(6)——人脸分割介绍
人脸分割是计算机视觉和图像处理领域的一项重要任务,它主要涉及到将图像中的人脸区域从背景或其他非人脸区域中分离出来。这一技术具有广泛的应用场景,如人脸识别、图像编辑、虚拟背景替换等。在计算机视觉(CV)领域,经典的分割技术可以主要划分为三类:语义分割(Semantic Segmentation)、实例分割(Instance Segmentation)以及全景分割(Panoramic Segmentation)。语义分割旨在对图像中的每个像素进行分类,以确定其所属的类别或对象。原创 2024-05-08 14:01:05 · 364 阅读 · 0 评论 -
AI换脸原理(4)——人脸对齐(关键点检测)参考文献2DFAN:代码解析
在本文中,重点介绍了以下几项创新性的成果,旨在为人脸关键点检测领域带来新的突破。首先,成功构建了一个卓越的2D人脸关键点检测基线模型。这一模型不仅集成了目前最优的关键点检测网络结构,而且在大规模且综合扩展的2D人脸特征点数据集上进行了深度训练,从而确保了其出色的性能。针对3D人脸对齐数据集稀缺的问题,提出了一种创新的解决方案。通过设计一个能够从2D标注转换为3D标注的卷积神经网络(CNN),成功创建了LS3D-W数据集。原创 2024-05-08 13:07:54 · 307 阅读 · 0 评论 -
AI换脸原理(3)——人脸对齐介绍
英文术语有facial landmark和face alignment,主要用于精确标识眉毛、眼睛、鼻子、嘴巴以及人脸轮廓等特征部位。不同数据集对于关键点的数量有不同的设定,最少的是标记5个关键点,通常包括两只眼睛的瞳孔中心、鼻尖以及左右嘴角;而常见的则有68个关键点,甚至有的数据集会标记上百个关键点。大多数情况下,人脸关键点的检测是在人脸检测的基础上进行的。首先,通过face detection方法确定人脸区域,随后在这个确定的区域内进行关键点的精确定位。原创 2024-05-08 12:53:03 · 206 阅读 · 0 评论 -
AI换脸原理(7)——人脸分割参考文献TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet
逐像素图像分割是计算机视觉领域中一项艰巨的任务。传统的由编码器和解码器组成的U-Net架构在医学图像、卫星图像等的分割中非常流行。通常情况下,神经网络初始化的权重来自于在像ImageNet这样的大数据集上预训练的网络,其性能优于在小数据集上从头开始训练的神经网络。在一些实际应用中,特别是在医学和交通安全方面,模型的准确性是至关重要的。在本文中,我们演示了如何通过使用预训练编码器来改进U-Net类型架构(看上去本文的重心在于改进UNet)。原创 2024-04-28 23:22:58 · 89 阅读 · 0 评论 -
AI换脸原理(4)——人脸对齐(关键点检测)参考文献2DFAN:How far are we from solving the 2D
本文研究了在现有的2D和3D人脸对齐数据集上,深度神经网络距离接近饱和性能还有多远。(a)我们首次通过将最先进的地标定位架构与最先进的残差块相结合,构建了一个非常强大的基线,在一个非常大但综合扩展的2D面部地标数据集上训练它,最后在所有其他2D面部地标数据集上对其进行评估。(b)我们创建了一个2D地标网络,该网络将2D地标注释转换为3D并统一所有现有数据集,从而创建了LS3D-W,这是迄今为止最大和最具挑战性的3D面部地标数据集(约23万张图像)。原创 2024-04-28 11:31:43 · 76 阅读 · 0 评论 -
AI换脸原理(1)——人脸检测介绍
人脸检测领域常用的评价指标主要包括准确率、精确率(查准率)、召回率(查全率)、F1值、IoU(交并比)、误识率(FAR)和拒识率(FRR)等。随后,fc7层输出尺寸为(19,19,1024),经过变换后得到(19,19,621)的输出。21),由于该层靠近网络前端,其数值相对较大,因此采用L2归一化来减小数值范围。然后是conv7_2层,其输出尺寸为(5,5,256),变换后得到(5,5,6。最后,conv9_2层输出尺寸为(1,1,256),变换后得到(1,1,4。原创 2024-04-12 16:22:30 · 214 阅读 · 0 评论 -
AI换脸原理(2)——人脸检测参考文献S3FD: Single shot scale-invariant face detector
本文提出了一种实时人脸检测器,称为单镜头尺度不变人脸检测器(S3FD),该检测器利用单个深度神经网络在各种尺度的人脸上都具有优越的性能,尤其是在小人脸上。具体来说,我们试图解决一个常见的问题,即基于锚的检测器随着对象变小而急剧恶化。我们在以下三个方面做出了贡献:1)提出了一个尺度公平的人脸检测框架,以很好地处理不同尺度的人脸。我们在广泛的层上平铺锚点,以确保所有比例的人脸都有足够的特征进行检测。此外,我们还基于有效接受野和提出的等比例区间原则设计锚定尺度;2)采用尺度补偿锚匹配策略提高小人脸的召回率;原创 2024-03-17 16:46:44 · 336 阅读 · 0 评论