人脸相关(检测,识别,GAN)
文章平均质量分 86
咆哮的阿杰
吾生也有涯,而知也无涯
展开
-
网格细分 mesh subdivision相关资料以及python代码
其中threshold控制是否细分,如果mesh的最长的边小于threshold,就不分割。首先根据github中pymeshlab的readme安装好pymeshlab。以上代码和用meshlab GUI的loop算法一样。推荐使用pymeshlab。原创 2022-09-02 20:17:53 · 789 阅读 · 0 评论 -
EditGAN阅读纪要
official code背景目前的GAN图像编辑往往遵循两条路线:输入一些condition作为额外输出,让模型在输入图像的全局信息下,修改图像使得符合该条件。条件一般有class label或者是semantic mask。第二种是在隐空间去解耦各种属性,得到控制该属性的方向向量。让隐变量朝向这个方向进行shift,就能实现编辑的目的。第二种也有用label训练分类器实现编辑效果,也有用无监督的方式获得方向向量的方式。同时也有修改隐变量,也有修改模型参数这两种实现编辑的方式。然而,上面两种方式各有原创 2022-05-01 14:08:17 · 560 阅读 · 0 评论 -
Pastiche Master: Exemplar-Based High-Resolution Portrait Style Transfer
cvpr2022 code and paper背景现有的stylegan finetuning的人物风格化方法,基本上是将source domain变换到target domain,这要求target domain至少上百张质量较高的样本,并且只能实现一种风格化。DualStyleGAN在stylegan-ffhq的基础上,同样是finetuning,但是增加了condition,引入dual style path以及有效的监督,使得可以利用风格模板,生成符合模板风格的人脸图像。MethodDua原创 2022-03-27 19:43:50 · 2689 阅读 · 4 评论 -
SimSwap: An Efficient Framework For High Fidelity Face Swapping
offifical infernece code背景Deepfake式的换脸decoder的目的是将B的脸换到A的头上。但输入特征是由从B处得到,因此要求decoder学习到了A的表示。这注定了Deepfake只能对两个人之间换脸,无法实现任意人之间的换脸。MethodSimSwap其实也很简单,模型分成5个部分。一个Encoder,对target image提取特征。IIM: 由多个ID block组成的残差网络。Decoder,输出具备source image 的人脸的图像,但属性来自t原创 2022-03-25 21:01:08 · 1206 阅读 · 0 评论 -
Labels4Free: Unsupervised Segmentation using StyleGAN论文解读
入选ICCV2021,官方page website,暂未开源paper还是很有创意的,只是pipeline搭建起来很繁琐,还有很大的改进空间。背景styleGAN等生成对抗网络可以生成逼真的图像,生成器的中间特征已经有了前景和背景的特征学习能力,但目前没有方法研究让GAN生成图像的同时,还生成前景目标的mask。本篇paper正是为了解决该问题。作者基于两种假设前景和背景是独立的,因此独立生成然后组合,也能生成逼真的图像。生成器的中间特征学习到了前背景特征分布,是可以利用起来,用于生成前景目标原创 2021-09-05 23:15:21 · 1052 阅读 · 0 评论 -
Designing an Encoder for StyleGAN Image Manipulation论文解读
官方源码和论文地址又是基于StyleGAN用于图像编辑的又一力作!基于StyleGAN做图像编辑,首先要找到隐向量(GAN inversion),这个过程的主流方式有两种:优化隐向量,找寻能重构出指定图像的隐向量。代表有image2style,in-domian GAN。设计一个Encoder,用于将图像映射到StyleGAN的隐空间上。代表有style-encoder。其实还有一种比较小众,利用分类器的思想,步骤也繁琐。代表有interpretGAN。IDEA目前基于styleGAN的图原创 2021-03-25 19:28:02 · 2940 阅读 · 0 评论 -
U-GAT-IT: 人脸转动漫网络(非配对图像翻译)精华总结
ugatit也是基于cyclegan,需要使用gan loss, cycle loss和idt loss。除此之外,论文还提出了在G和D中使用一个分类器,训练分类器也需要一个loss,叫做cam loss,受类激活映射启发。论文的两个创新点:adaptive Layer Instance normalization(adaLIN)类似于SENet的通道注意力。只不过exciting权重是来自CAM分类器。方法G_A代表从A域往B域转换,D_A代表判别真实的B域和假的B域样本G_A(X)。另外的原创 2021-01-14 22:37:35 · 3529 阅读 · 0 评论 -
StyleGAN阅读笔记和源码阅读
StyleGAN以Style为名,有两个含义:1. 借鉴在风格迁移中常用到的adain操作。2. 通过adain 把不同层次的样式(style)embed到不同分辨率的特征图上,能够影响不同层次(level)的生成图像的样式。高级层次有人脸的姿态,脸型,发型等宏观的样式,低级点的有细小的细节风格(脸的细节,像源A还是源B,),眼镜。StyleGAN以渐进式GAN为baseline,通过改进了一些方面,来生成高清(1024*1024)逼真的人脸图像。这些改进主要有:改进渐进GAN的上采样层和超参数添原创 2020-06-21 15:43:05 · 2381 阅读 · 2 评论 -
解析人脸识别中cosface和arcface(insightface)的损失函数以及源码
人脸识别最近几年的发展,几乎就两条,第一是面向移动设备,第二,改进损失函数,使训练的模型更加有效。这就要求loss能push各个类内在空间分布的更紧凑。从normface开始,人脸识别就进入使用余弦相似度来判断识别精度的时代。对weight和feature都进行l2 norm,避免长尾,使样本不均衡不再制约精度。在center loss中,指明softMax-based loss将特征空间呈原点...原创 2020-02-26 20:04:55 · 9235 阅读 · 1 评论 -
最强换脸算法:Few-Shot Adversarial Learning of Realistic Neural Talking Head Models论文解读
今天为大家带来一篇arXiv新上论文,来自三星AI,用于换脸,没错,而且不像deepfake那样要对被换的脸和要换谁的脸,这两个人的脸的大量数据信息。仅仅凭借一张A的脸,就能把视频中B的脸换成A的脸。如果给定A的脸的图像增多,效果也会越好。论文引起了广泛关注,作者也提供了demo视频,在油管上,大家也可以去搜索看看。这篇论文估计是要投ICCV的,目前在arXiv上是第一版,意思就是有些内容有小错误...原创 2019-05-30 15:19:34 · 9062 阅读 · 15 评论 -
FaceID-GAN:Learning a Symmetry Three-Player GAN for Identity-Preserving Face Synthesis论文翻译和解读
写在之前:这篇work的精妙程度是我平生仅见,或者是我还没看过太多论文。网络模型的设计加上合适的损失函数,一篇CVPR就出来了。摘要人脸合成使用GANs已经获得了很卓越的效果。现存在的方法将GAN当做一个二人游戏,游戏中D来判别人脸是来自生成样本还是真实样本,同时生成器通过生成更加逼真的图像来减少判别器的精度。他们的竞争在当判别器不能分辨两个域(真和假)的时候收敛。和二人游戏的G...原创 2019-02-16 18:04:20 · 2809 阅读 · 3 评论 -
DR-GAN:Disentangled Representation Learning GAN for Pose-Invariant Face Recognition论文解读
写在之前:初看这篇论文,觉得很惊艳,很巧妙,非常值得细读和动手实践,本人调通的Pytorch代码也会在后面详解。另一篇更具有新颖性的人脸特征变换的论文是FaceID-GAN。附我的FaceID-GAN论文解读摘要在人脸识别领域,两张脸之间的大角度差异是一个关键的挑战。。论文提出一种能学到一种和姿势无关的人脸特征,将脸部的pose信息从特征中分离出去,这样用于人脸识别的特征提取就能适用于...原创 2019-02-15 17:42:58 · 7571 阅读 · 9 评论 -
MTCNN:一种用于人脸检测的级联卷积网络
论文名称:Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks论文地址:https://arxiv.org/abs/1604.02878这是个人写的第一篇论文解读,如有考虑不到或者解释不清楚的地方,请在下方留言。摘要:简单来说,作者提出了一种使用三个卷积网络做级联,来检测...原创 2018-11-30 20:31:29 · 841 阅读 · 0 评论 -
ArcFace / InsightFace 论文解读
update on 2019/4/1我计划在今年六月份开源我的人脸识别demo到github上,集成了人脸检测和mobileFaceNet + arcloss人脸识别。如果需要请下方留言。届时会通知各位。updata on 2019/4/20因为一些原因,我提前开源了我的人脸识别代码,请见github地址。如果觉得对你的工作有帮助,请有账号的帮忙点个star哦。你的一个star是对我开...原创 2019-01-24 23:41:55 · 6885 阅读 · 4 评论