e4e反演框架:Designing an Encoder for StyleGAN Image Manipulation

6 篇文章 0 订阅

这里记录下本文学到的概念(自己理解的):如有错误,请勘误!

目录

一、W空间

区分

 特性+说明

 二、两种Latent Space Embedding

1、 learn an encoder that maps a given image to the latent space

2、 select a random initial latent code and optimize it using gradient descent


一、W空间

e4e原文在intro第三段描述:由于并不是所有的图都W空间,W空间表达能力有限在下文Image2stylegan: How to embed images into the stylegan latent space?

 e4e使用的是W+空间,

区分

W是指stylegan中map网络的输出,一般维度是512;

W^{k}指的是K个不同的sytle codes,K代表了sys里面style inputs的个数;注意:这里k个sytle codes都来自W空间,并且是equal的;看这里W^{k} \nsubseteq R^{k\times 512}W^{18}便是18个属于W \nsubseteq R^{512}(这里W就是map的隐空间)的style code,W^{18}是18*512维度的。

W^{*}指的是,使用一个不是来自W空间的style code,replicating it;所以这里style code是一样的;

W_{*}^{k}值得是,使用k个不同的,不是来自W空间的style code。

 特性+说明

 表第一个特性指得,style code 是不是来自W空间,第二个特性这些style code是不是一样的。

下面这个图以2维度举例,这里应该是假设了等高线区域符合高斯分布,这几个等高线分布在二维 W^{2}空间。这是二维空间的示意图,对角线区域都是一维的,类比下y=x;

W隐空间就是对角线上高斯分布中的有概率的点(粉色点),W*隐空间就是对角线空间(高斯分布概率为0的点也是),w2空间就是高斯分布的蓝色点

1、W^{*}的style code是一样的,所以是对角线;这是一维的

2、粉红点表示从W空间抽样得到的点,是一维高斯的混合。注意,这里w是一维空间的,粉红色点是二维空间里3个高斯分布的的混合。这里我的理解是一个二维(x,y)高斯分布在y=x条件下,得出的结果。

3、灰色区域表示W_{*}^{2},是二维的。蓝色点是从W^{2} 点采样的,到灰色等高线的距离代表到W空间的距离。

 二、两种Latent Space Embedding

1、 learn an encoder that maps a given image to the latent space

encoder方法例如psp、e4e,使用encoder输出w向量

2、 select a random initial latent code and optimize it using gradient descent

 image2stylegan就是optimize的方式

3、e4e后面就是从 tradeoffs 上encoder出来一个隐空间来实现inversion并且尽量靠近style code隐空间 

 

  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
VR(Virtual Reality)即虚拟现实,是一种可以创建和体验虚拟世界的计算机技术。它利用计算机生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。VR技术通过模拟人的视觉、听觉、触觉等感觉器官功能,使人能够沉浸在计算机生成的虚拟境界中,并能够通过语言、手势等自然的方式与之进行实时交互,创建了一种适人化的多维信息空间。 VR技术具有以下主要特点: 沉浸感:用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该使用户难以分辨真假,使用户全身心地投入到计算机创建的三维虚拟环境中,该环境中的一切看上去是真的,听上去是真的,动起来是真的,甚至闻起来、尝起来等一切感觉都是真的,如同在现实世界中的感觉一样。 交互性:用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。例如,用户可以用手去直接抓取模拟环境中虚拟的物体,这时手有握着东西的感觉,并可以感觉物体的重量,视野中被抓的物体也能立刻随着手的移动而移动。 构想性:也称想象性,指用户沉浸在多维信息空间中,依靠自己的感知和认知能力获取知识,发挥主观能动性,寻求解答,形成新的概念。此概念不仅是指观念上或语言上的创意,而且可以是指对某些客观存在事物的创造性设想和安排。 VR技术可以应用于各个领域,如游戏、娱乐、教育、医疗、军事、房地产、工业仿真等。随着VR技术的不断发展,它正在改变人们的生活和工作方式,为人们带来全新的体验。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值