Learning Continuous Image Representation with Local Implicit Image Function 简介数据处理以div2k数据集为例，结合本文项目代码（liif）梳理一下训练数据预处理流程：div2k数据集的高分辨率训练集由800张2K图像组成，每张图像尺寸不一，如2040∗1848，2040∗14042040*1848，2040*14042040∗1848，2040∗1404等等，因此需要进行裁剪对于每张图像，如果不设置inp_size参数，默认是将其给随机缩放到1-4倍之间，作为crop_lr图像，原图作为crop_hr图像；如果设置inp_size参数（inp_size=48），是先随机
Meta-SR: A Magnification-Arbitrary Network for Super-Resolution 1. 相关背景本文发表于2019年，一般来说，SISR（single image super resolution，单张图片超分辨率）的工作都是分为两部分，首先将H∗W∗3H*W*3H∗W∗3的图片经过特征提取模块（比如2017年ESDR的残差网络，2018年RDN的稠密残差网络），得到相同尺寸的H∗W∗CH*W*CH∗W∗C的特征图；然后再经过上采样模块（x2或x3或x4的缩放因子）得到超分辨率图像，比如要是上采样模块用了x4，那么最终分辨率就为4H∗4W∗34H*4W*34H∗4W∗3，这种方法的缺点
OSTeC: One-Shot Texture Completion 1. 相关工作1.1 普通人脸图像的自动生成一般来说使用GAN，特别是styleGAN来生成人脸的图像，但是有个问题人脸的特征难以解耦合：因为它的过程是参数—>参数空间—>图像，顶多来说，我们知道在低分辨率部分的参数控制着人脸的轮廓之类，高分辨率控制着人脸的具体细节，但是如果我想让侧着的人脸给正过来，就不知道该调节哪个部分比较好了对于一张任意的野生图像，我也很难将其投射回styleGAN的原始参数空间因此，为了更好地控制GAN的生成，又有了许多image-image tran
AvatarMe: Realistically Renderable 3D Facial Reconstruction “in-the-wild” 概述与相关工作从野生图像中，缺乏相关的方法能够生成高分辨率、真实感的三维人脸，主要原因是：缺乏可用的训练数据即使有高分辨率数据，也缺乏具有鲁棒性的方法本文提出的AvatarMe方法，是第一种能够基于单张的野生的图像，重建真实感三维人脸的方法PCA方法，虽然能够表示重建人脸的最基本的特征，但是在高频的纹理与几何细节上却有所欠缺，况且也无法表示野生数据中人脸的复杂纹理。随着深度学习的到来，许多编码-解码架构的方法开始被采用，去推理人脸三维几何、反射、光照，但是由于使用的光照模型限制（Lambert
DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation 相关工作3D形状补全类似于2D的计算机视觉里面的图像修复工作，3D形状补全工作的目的是基于一些部分的或离散的输入，推理出这个3D物体全部的形状。比如说给我几个离散的SDF函数的值，我把整个连续的SDF函数给搞出来，给我任意的输入我都能得到应有的数值。之前传统的方式是使用径向基函数（RBF），或者将其看做是一个泊松问题，但是这些方式是以数学理论为依托的，虽然合理性得到了保证，但是缺点就是一次仅仅只能建模一个单一的3D物体。最近随着深度学习的发展，这种3D补全工作开始以数据为驱动，常用的模型便是编码-解码架
Optimizing the Latent Space of Generative Networks 1. 概述提出了一种称之为Generative Latent Optimization（GLO）的方法，与GAN相比，免去了生成对抗训练的策略，取得了类似GAN的效果2. GAN的介绍GAN有三个明显的泛化性的迹象：不同图像在latent code空间对应着不同的值，如果把两张图片的值进行插值，那么再经过GAN的生成器，就能生成新的融合两张图像的新的图像，即所谓的：从线性插值到语义插值的转换在latent code空间可以进行线性运算，对应着对图像的各种可能的属性的改变，这意味着我们可以把自然图
用神经网络表示物体或场景与用神经网络完成任务的区别与联系 目录前言二者联系二者区别局部与个体，个体与群体的区别物理约束与抽象约束的区别训练时的更具体的区别前言在读过NeRF，DeepSDF等文章的基础上，结合文章的核心思想与自己做过的idea，总结了一下用神经网络去表示物体或场景与我们一般认知的用神经网络去完成某项任务的区别与联系二者联系神经网络是一个通用的、万能的函数近似器，这个结论已经在数学上被严格证明出来了，所以说，不管我们拿神经网络，用深度学习的方法去做了什么看似神奇的事情，其实从本质上来说，都是建立了一个从输入到输出的映射关系，这个中间过程，其实
Nginx 学习笔记 相关概念Nginx是一个高性能HTTP和反向代理服务器反向代理正向代理是以用户角度来说的，访问外国网站的时候，直接访问不成功，可以在浏览器配置代理服务器，通过代理服务器访问，这就是正向代理反向代理是以服务器角度来说的，客户端不知情，客户端只需要把请求发送到反向代理服务器即可，而反向代理自行选择真实服务器，其实隐藏了真实的服务器地址负载均衡增加服务器的数量以解决高并发的问题，使用反向代理服务器处理分发请求动静分离为了加快网站的解析速度，可以把动态页面(jsp)和静态页面（js,css）由不
c++ string 的常用函数整理 构造string a(string b, int start, int length) ：对字符串b的start位置开始截取，截取的长度为length，也就是说a最终长度为lengthstring a(int num, char c) ：对字符串c进行num个数量的拷贝操作，作为a的初始值操作void swap(string a, string b）：交换字符串a和b的值void append(string c)：在后面添加字符串cvoid insert(int start, string
Java基础学习笔记——注解 目录1. 注解基础解释1.1 注解示例——Override2. 自定义注解1. 注解基础解释主要作用：可以被其它相关的程序读取1.1 注解示例——Override要想在其它程序里使用@Override，就得创建这样的一个@interface@Target(ElementType.METHOD)@Retention(RetentionPolicy.SOURCE)public @interface Override {}2. 自定义注解...
Java基础学习笔记——正则表达式 正则表达式String类有一个matches()方法，参数为String regex1. 一个简单的例子需求要求code为5~10位数要求code全部为数字要求code不能以0开头代码 String regex="[1-9][0-9]{4,9}"; String code1="1233424"; String code2="1233424d"; String co...
c++ STL map 用法总结 1. 增使用重载的[]符号进行元素添加 map<string,int> mymap; mymap["song"]++; mymap["zhang"]++; mymap["song"]++; mymap["song"]++; mymap["zhang"]++; mymap["adg"]++; mymap["fefa"]=mymap["fefa"]+1; for(map<string,int>::iterator
机器学习课堂笔记 核方法与核函数主要是为了解决使用超平面进行数据分类问题，有可能将数据映射到一个更到维度就能够使用超平面进行数据分类了。类似于支持向量机，使得所有数据的距离到超平面的距离最小即可，经过计算，发现我们不需要去找到这种低纬度到高纬度的映射方式，而是找到一种计算各个数据之间内积的方式即可：k就是核函数，而经过计算之后发现模型的最优解可以通过训练样本的核函数展开。可以说，核函数隐式地定义了这个映射到的特征空间此外，核函数的各种组合也是核函数PCA和核方法一样，也是一种数据预处理方法，PCA主要
torch学习笔记 关于tensortensor.data是属性，tensor.detach()是方法，返回的数据与原数据是共享的，一者改变另一者也跟着改变；并且默认都是不跟踪梯度，但是tensor.data这样会有风险，因为可能在某个地方数据改变了而我不知道，而detach()设置跟踪梯度之后可以规避风险；我们还可以使用类似NumPy的索引操作来访问Tensor的一部分，需要注意的是：索引出来的结果与原数据共享内存，也即修改一个，另一个会跟着修改tensor默认不追踪梯度tensor.clone()函数返回一个克隆，
FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction 1. 简介本文的贡献：提出了一个大尺度高细节的三维人脸数据集FaceScape，采集938个人的20种表情，共18760个三维人脸数据集三维模型具有孔隙级别的精度，并且被处理成拓扑一致性，如果想查看大致形状可使用3DMM系数，如果想更精细一点再加张位移图即可提出了一种基于单张图片进行三维人脸重建并且可以自由编辑的方法方法原始数据—>拓扑一致（+位移图）—>双线性模型（身份和表情维度）先前的方法只能估计大致形状，没有皱纹等小尺度特征，关键的问题在于如何去预测由表情变化导致的小尺
GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields(CVPR2021 Best paper) NeRF《On the spectral bias of neural networks》ICML2018 发现尽管神经网络是万能函数近似器，但是它更倾向于学习低频特征，如果在输入信息传递给网络之前，使用高频函数将输入信息映射到更高维度的空间，可以更好地拟合包含高频变化的数据...
StyleRig: Rigging StyleGAN for 3D Control over Portrait Images 1. 简介文章《StyleRig: Rigging StyleGAN for 3D Control over Portrait Images》发表于CVPR2020，讲述了一种操控styleGAN生成我们想要的人脸图像的方法1.1 motivationstyleGAN可以生成逼真的人脸图像，但是缺乏姿态，表情，光照等属性的可控性，因为这些属性在latent code space都是高度耦合的一般的3DMM方法进行三维人脸重建后，渲染出的图像不真实，并且缺乏人脸的其它部分，比如头发，嘴巴内部，背景等
Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using GCN 简介2019年的GANFit方法，第一次使用了GAN网络去生成高保真的人脸纹理图，训练好GAN之后，通过可微渲染去优化latent code。缺点便是训练GAN网络需要大量的人脸纹理图，而这些图像获取是很困难的。贡献如下：提出了一个由粗到细的框架，重建高保真的面部纹理图，解决了之前方法的需要大量纹理图数据的问题第一次将GCN应用在高保真面部纹理重建上，取得较好的效果...
关注
