读论文TP_GAN与代码解析

最新推荐文章于 2024-06-17 13:08:59 发布
最新推荐文章于 2024-06-17 13:08:59 发布
阅读量6.3k 收藏 27
点赞数 1
分类专栏： 论文

资源准备：论文下载， 代码下载（tensorflow实现）

预备知识：tf.reduce_函数, 

TP GAN ；全名 TWO pathway Geanerator Network,，，在此文作用为侧脸->正脸,与普通GAN区别开的是它用两条pathway分别处理局部部位与整体，最后合成结果，整体架构如下图所示，图中省略了部分路线，resblock与部分convolution处理

 

官方给定的代码中TP_GAN-Mar6FS.py函数有:

build_model

用于构造网络，构造loss

processor

注释：输入3通道图片，输出3通道，3*4的梯度图(gradient map)；步骤是对输入图进行一个conv后将原图与结果concat

用于g_loss中，至于g_loss是什么，(todo)

FeaturePredict

partRotator

如图，输入侧面的眼或嘴或鼻，输出正面的眼或嘴或鼻

四个卷积的尺度2倍的递增，图中每层卷积间省略了resblock和Leaky Relu,中间卷积到反卷积间省略了两个resblock,比起变分自动编码器，PartRotator还多出一个跨层的输入，通过与原输入tf.concat的方式 跨层输入；代码中输出是两个，一个是原结果，另一个是结果再1*1conv,tanh处理

generator，decoder

（这是Global pathway的）两个一起讲，代码里输入输出有点乱，挺多个输入输出。此图中简化了：第1个deconv的结果作为第3个的输入，第2->第4，第3->第5 ; havles maximum是将vector切半，输出较大的一半，img跨层输入不是简单的输入，除了resize，resblock,conv以外还有其他的操作，略过； 图中 省略了每层的resblock和Leaky Relu,右下角箭头的输入是PartCombiner后的结果，

decoder函数的返回值：每一个deconv后再加一个1*1的conv，有5个deconv，所以共5个返回值(代码中有多的重复的返回值，忽略)

 

partCombiner

如图，输入眼嘴鼻，将眼嘴鼻放到设定好的位置，其余用tf.pad来补全，如文中所说：Specifically, we put each feature tensor at a “template landmark location”，重合的地方用tf.maximum处理，总体被文中称为Position Aggregation操作

loadDeepFace

文中没提怎么面部定位，代码中是直接提取脸部的各个部位的坐标用于裁剪，此函数作用是用pickle读取这些坐标文件

DiscriminatorLocal

conv尺度两倍递增，倒数第二层conv与倒数第三层conv的filter尺度一样,图中省略每层间的leaky relu和第四层和第五层后的resblock

FeatureExtractDeepFace

一个深层次的FeatureExtrarter,其中有res的结构，引用了_conv_layer，get_conv_filter函数； 代码注释：processing from color to gray; 函数在build_model中被调用，作用：提取特征，用于构造dv_loss,  dv_loss代码中是global decoder产生的图与groundtruth的Loss, 对应到文章是Pixel-wise Loss。Pixel-wise Loss如图

继续说代码中的dv_loss是怎么实现的：decoder函数->生成图片G，并引入groundtruth图片->FeatureExtractDeepFace函数->tf.reduce_sum和其他reduce_函数->loss

evaluate，train,get_conv_filter, get_bias, get_fc_weight, save, load

Loss

保证对称性的symetric loss,作用：加速拟合，产生更真实的图。还可以补全遮挡部位

Adversarial Loss
Identity Perserving Loss

Pixel-Wise Loss,见上面函数featureExtractDeepFace，是通过feature内的L1距离，让一些突出特征在变化过程中保留下来

tv Loss(total variation regularization loss)，如名

Discriminator

就看到一个discriminatorLocal函数，文中说这个网络的Discriminator特别之处是产生的结果是一个probability map

 

ptgood
关注
  • 1
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 21
    评论
专栏目录
基于TP-GAN的侧脸人像恢复
zzyy0929的博客
11-07 5772
中科院自动化所（CASIA），中科院大学和南昌大学的一项合作研究，提出了双路径 GAN（TP-GAN），通过单一侧面照片合成正面人脸图像，取得了当前较好的结果。研究人员提出了一个像人类一样能够考虑整体和局部信息的 GAN 结构，合成的图像非常逼真且很好地保留了身份特征，并且可以处理大量不同姿势的照片。研究人员指出，这些合成的图像有可能用于人脸分析的任务。 他们受人类视觉识别过程启发，结合对抗生成
图像旋转45度的matlab代码-TP-GAN:TP-GAN
05-25
图像旋转45度的matlab代码TP-GAN ICCV17论文“”的TP-GAN Tensorflow正式实施，作者为张和Shu，李和，天宇和。 目的是从任何姿势下的单个面部图像中恢复同一个人的正面面部图像。 这是本文中的一些示例。 测试图像 可以在此处获得所有姿势的综合测试图像，MultiPIE中设置2中的相应照明（及其裁剪的输入）。 常见问题解答：可以根据要求获得其他照明条件和/或训练集的合成图像（不是原始图像）。 不幸的是，由于版权原因，我无法重新分发原始数据集。 如果您想访问原始的MultiPIE数据集，请联系。 随机例子 这是每个度数的10个测试图像对的随机示例。 15度和30度： 45度和60度： 75度和90度： 笔记 它最初是用Tensorflow 0.12编写的。 如果您已经实现了另一个版本，我将很乐意在这里引用它。 这是代码的初始版本，可能尚未经过全面测试。 优化，输入数据示例，预训练的模型和预计算的测试图像功能将在稍后发布。 使用Matlab脚本face_db_align_single_custom.m裁剪输入，该脚本接受5个关键点并输出裁剪的图像和转换后的关键点
生成对抗网络——GAN（代码+理解）
最新发布
CXDNW的博客
06-17 2004
一、GAN模型介绍GAN，全称 Generative Adversarial Network，即生成对抗网络，是一种基于 对抗学习的深度生成模型。该模型由Ian Goodfellow在 2014年 首次提出，并迅速成为 学术界研究的热点，推动了生成模型领域的发展。GAN模型主要由两部分组成：生成器（Generator）和判别器（Discriminator）。，其 输入是 随机噪声，输出则是 生成的样本。。2. 判别器：判别器模型同样。
Keras_TP-GAN:TP-GAN的非官方Keras（使用Tensorflow）重新实现
04-30
Keras_TP-GAN TP-GAN的非官方Keras（带有Tensorflow）的重新实现，“超越面部旋转：用于真实感和身份保留正面视图合成的全局和局部感知GAN” 该代码的主要部分是参考作者的官方纯Tensorflow实现来实现的。 原纸是 Huang R，Zhang，S.，Li T.，＆He，R.（2017年）。 除面部旋转之外：全局和局部感知可用于实现真实感和身份保留的正面视图合成。 arXiv预印本arXiv：1704.04086。 当前结果 目前，概括性不如作者的结果。 如果您对此实现有任何评论，请给我发电子邮件。 我很高兴一起讨论。 输入 综合的 GT 这4张图像的主题包含在训练数据集中，但照明度有所不同。 图书馆版本 的Python：3.6.3 Tensorflow：1.5.0 凯拉斯：2.1.3 GPU：GeForce GTX 1080 Ti（单个）
生成模型--TP-GAN
wydbyxr的博客
10-26 1988
TP-GAN   中科院自动化所（CASIA），中科院大学和南昌大学的一项合作研究，提出了双路径 GAN（TP-GAN），通过单一侧面照片合成正面人脸图像，取得了当前较好的结果。   这里采用双通道网络，Two Pathway Generator，一个是 local pathway,另一个是 global pathway。   1）local pathway 用于解决人脸的细节问题，输入侧脸的四个...
图像旋转45度的matlab代码-TP-GAN:来自https://github.com/HRLTY/TP-GAN的分支
05-25
图像旋转45度的matlab代码TP-GAN ICCV17论文“”的TP-GAN Tensorflow正式实施，作者为张和Shu，李和，天宇和。 目的是从任何姿势下的单个面部图像中恢复同一个人的正面面部图像。 这是本文中的一些示例。 测试图像 可以在此处获得所有姿势的综合测试图像，MultiPIE中设置2中的相应照明（及其裁剪的输入）。 常见问题解答：可以根据要求获得其他照明条件和/或训练集的合成图像（不是原始图像）。 不幸的是，由于版权原因，我无法重新分发原始数据集。 如果您想访问原始的MultiPIE数据集，请联系。 随机例子 这是每个度数的10个测试图像对的随机示例。 15度和30度： 45度和60度： 75度和90度： 笔记 它最初是用Tensorflow 0.12编写的。 如果您已经实现了另一个版本，我将很乐意在这里引用它。 这是代码的初始版本，可能尚未经过全面测试。 优化，输入数据示例，预训练的模型和预计算的测试图像功能将在稍后发布。 使用Matlab脚本face_db_align_single_custom.m裁剪输入，该脚本接受5个关键点并输出裁剪的图像和转换后的关键点
paper reading: TP-GAN
lmwang1234的博客
11-02 292
Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Original Paper: TP-GAN Abstract TP-GAN simultaneously perceive global structures and local details. Four landmark locate...
tp_helpizi_android代码_TP_android_
10-02
"tp_helpizi_android代码_TP_android_"这个项目显然关注的就是如何在Android平台上创建这样的效果。让我们深入探讨一下如何在Android中实现图片翻页动画。 首先，翻页动画的核心是利用Android的动画框架，通常包括...
yunjiexi.zip_TP_luck8y8_php mysql_poetuck_云解析源码
09-23
【yunjiexi.zip_TP_luck8y8_php_mysql_poetuck_云解析源码】是一个基于PHP和MySQL的建站影视解析源码，其中包含了TP框架（ThinkPHP）的应用，以及一个名为"luck8y8"的特定功能模块。这个源码的主要目标是为用户提供...
TP_1.rar_TP_cdma code
07-15
code CDMA rayleigh for matlab
tp.rar_TP_xml atml
09-14
"tp.rar_TP_xml_atml"这个压缩包可能包含了一系列与ATML相关的文件，如TA（Test Activity）、TS（Test Suite）、UUT（Unit Under Test）、TI（Test Item）和TD（Test Data）。这些文件是ATML中的核心元素，分别代表...
图像旋转45度的matlab代码-TPGan:TPGan
05-25
图像旋转45度的matlab代码TP-GAN ICCV17论文“”的TP-GAN Tensorflow正式实施，作者为张和Shu，李和，天宇和。 目的是从任何姿势下的单个面部图像中恢复同一个人的正面面部图像。 这是本文中的一些示例。 测试图像 可以在此处获得所有姿势的综合测试图像，MultiPIE中设置2中的相应照明（及其裁剪的输入）。 常见问题解答：可以根据要求获得其他照明条件和/或训练集的合成图像（不是原始图像）。 不幸的是，由于版权原因，我无法重新分发原始数据集。 如果您想访问原始的MultiPIE数据集，请联系。 随机例子 这是每个度数的10个测试图像对的随机示例。 15度和30度： 45度和60度： 75度和90度： 笔记 它最初是用Tensorflow 0.12编写的。 如果您已经实现了另一个版本，我将很乐意在这里引用它。 这是代码的初始版本，可能尚未经过全面测试。 优化，输入数据示例，预训练的模型和预计算的测试图像功能将在稍后发布。 使用Matlab脚本face_db_align_single_custom.m裁剪输入，该脚本接受5个关键点并输出裁剪的图像和转换后的关键点
图像旋转45度的matlab代码-tp-gan:TP-BRO
05-25
图像旋转45度的matlab代码TP-GAN ICCV17论文“”的TP-GAN Tensorflow正式实施，作者为张和Shu，李和，天宇和。 目的是从任何姿势下的单个面部图像中恢复同一个人的正面面部图像。 这是本文中的一些示例。 测试图像 可以在此处获得所有姿势的综合测试图像，MultiPIE中设置2中的相应照明（及其裁剪的输入）。 可以根据要求获得其他照明条件和/或训练集的合成图像。 如果您想访问原始的MultiPIE数据集，请联系。 随机例子 这是每个度数的10个测试图像对的随机示例。 15度和30度： 45度和60度： 75度和90度： 笔记 要求：麻木枕头 它最初是用Tensorflow 0.12编写的。 如果您已经实现了另一个版本，我将很乐意在这里引用它。 这是代码的初始版本，可能尚未经过全面测试。 优化，输入数据示例，预训练的模型和预计算的测试图像功能将在稍后发布。 使用Matlab脚本face_db_align_single_custom.m裁剪输入，该脚本接受5个关键点并输出裁剪的图像和转换后的关键点。 文件夹data-example显示了一些示例裁剪输出。 我们的
Python-官方TPGANTensorflow实现
08-11
Official TP-GAN Tensorflow implementation for paper "Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis
deblurGAN代码
09-06
去模糊代码拍照时手抖，或者画面中的物体运动都会让画面模糊，女友辛辛苦苦摆好的各种Pose也将淹没在各种模糊的线条中，是时候要有一种新的算法解救水深火热中的你了。
TP-GAN 让图像生成再获突破，根据单一侧脸生成正面逼真人脸
热门推荐
人工智能
04-16 1万+
【新智元导读】中科院自动化所（CASIA），中科院大学和南昌大学的一项合作研究，提出了双路径 GAN（TP-GAN），通过单一侧面照片合成正面人脸图像，取得了当前最好的结果。研究人员提出了一个像人类一样能够考虑整体和局部信息的 GAN 结构，合成的图像非常逼真且很好地保留了身份特征，并且可以处理大量不同姿势的照片。研究人员指出，这些合成的图像有可能用于人脸分析的任务。
探索前沿科技：TP-GAN - 创新性生成对抗网络框架
gitblog_00023的博客
04-17 715
探索前沿科技：TP-GAN - 创新性生成对抗网络框架 项目地址:https://gitcode.com/HRLTY/TP-GAN 在人工智能领域，生成对抗网络（GANs）是一种极具创新性的机器学习模型，它能够自动生成逼真的图像、视频和音频。今天，我们将深入探讨一个名为 TP-GAN 的项目，这是一个专注于改进 GAN 模型性能和稳定性的开源框架。 项目简介 TP-GAN 是由开发者 HRLTY...
(TP-GAN)Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity
chenaxin的博客
06-15 557
https://arxiv.org/abs/1704.04086 摘要 由单一人脸图像合成逼真的正面视图在人脸识别领域有着广泛的应用。尽管数据驱动的深度学习方法已经被提出，通过从大量的面部数据中寻找解决方案来解决这个问题，但这个问题仍然具有挑战性，因为它本质上是不适定的。本文提出了一种能同时感知全局结构和局部细节的Two-Pathway生成对抗网络(TP-GAN)，用于真实感正面视图的合成。除了常用的全局编码解码网络外，还提出了四种特征点定位patch网络。除了新颖的结构外，我们通过引入对抗损失、对称损失和
Keras(1) GAN代码分析
GZHermit的博客
01-11 3204
源代码： def minb_disc(x): diffs = K.expand_dims(x, 3) - K.expand_dims(K.permute_dimensions(x, [1, 2, 0]), 0) abs_diffs = K.sum(K.abs(diffs), 2) x = K.sum(K.exp(-abs_diffs), 2)
修改这个函数，要实现防止连续点按 while (1) { tp_dev.scan(0); if (tp_dev.sta & TP_PRES_DOWN) { //触摸屏被按下 if (tp_dev.x[0] > 0 && tp_dev.x[0] < 130 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480) { while(tp_dev.x[0] > 0 && tp_dev.x[0] < 130 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480){ tp_dev.scan(0); } if (i < 5) { password[i++] = '1'; } } else if (tp_dev.x[0] > 130 && tp_dev.x[0] < 260 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480) { while(tp_dev.x[0] > 130 && tp_dev.x[0] < 260 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480){ tp_dev.scan(0); } if (i < 5) { password[i++] = '2'; } } else if (tp_dev.x[0] > 260 && tp_dev.x[0] < 390 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480) { while(tp_dev.x[0] > 260 && tp_dev.x[0] < 390 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480){ tp_dev.scan(0); } if (i < 5) { password[i++] ='3'; } } else if (tp_dev.x[0] > 390 && tp_dev.x[0] < 520 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480) { while(tp_dev.x[0] > 390 && tp_dev.x[0] < 520 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480){ tp_dev.scan(0); } if (i < 5) { password[i++] = '4'; } } else if (tp_dev.x[0] > 520 && tp_dev.x[0] < 650 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480) { while(tp_dev.x[0] > 520 && tp_dev.x[0] < 650 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480){ tp_dev.scan(0); } if (i > 0) { password[--i] = '\0'; } } else if (tp_dev.x[0] > 650 && tp_dev.x[0] < 800 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480) { while(tp_dev.x[0] > 650 && tp_dev.x[0] < 800 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480){ tp_dev.scan(0); } if (i == 4) { break; //退出密码输入循环 } else { Show_Hz16(300,250,"提示信息：用户名或密码错误",RED,WHITE); } } //显示部分 LCD_ShowString(400,150,400,24,24,password); } }
05-22
while (1) { tp_dev.scan(0); if (tp_dev.sta & TP_PRES_DOWN) { //触摸屏被按下 if (tp_dev.x[0] > 0 && tp_dev.x[0] < 130 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480) { if (i < 5) { password[i++] = '1'; } while(tp_dev.sta & TP_PRES_DOWN) { //等待触摸屏释放 tp_dev.scan(0); } } else if (tp_dev.x[0] > 130 && tp_dev.x[0] < 260 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480) { if (i < 5) { password[i++] = '2'; } while(tp_dev.sta & TP_PRES_DOWN) { //等待触摸屏释放 tp_dev.scan(0); } } else if (tp_dev.x[0] > 260 && tp_dev.x[0] < 390 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480) { if (i < 5) { password[i++] = '3'; } while(tp_dev.sta & TP_PRES_DOWN) { //等待触摸屏释放 tp_dev.scan(0); } } else if (tp_dev.x[0] > 390 && tp_dev.x[0] < 520 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480) { if (i < 5) { password[i++] = '4'; } while(tp_dev.sta & TP_PRES_DOWN) { //等待触摸屏释放 tp_dev.scan(0); } } else if (tp_dev.x[0] > 520 && tp_dev.x[0] < 650 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480) { if (i > 0) { password[--i] = '\0'; } while(tp_dev.sta & TP_PRES_DOWN) { //等待触摸屏释放 tp_dev.scan(0); } } else if (tp_dev.x[0] > 650 && tp_dev.x[0] < 800 && tp_dev.y[0] > 380 && tp_dev.y[0] < 480) { if (i == 4) { break; //退出密码输入循环 } else { Show_Hz16(300,250,"提示信息：用户名或密码错误",RED,WHITE); } while(tp_dev.sta & TP_PRES_DOWN) { //等待触摸屏释放 tp_dev.scan(0); } } //显示部分 LCD_ShowString(400,150,400,24,24,password); } } 在每个按键输入后，加入一个 while 循环等待触摸屏释放。这样可以防止连续点按导致密码输入错误。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值