深度学习
文章平均质量分 58
哎呦不错的温jay
关注研究数字人、元宇宙、计算机视觉、图形学、AIGC、语言大模型。
展开
-
私人定制AI绘画——快速finetune stable diffusion教程
AI创作正在逐步超越人类。原创 2022-12-06 17:41:18 · 15617 阅读 · 3 评论 -
漫反射贴图与镜面光贴图
什么是漫反射贴图与镜面光贴图?原创 2022-02-25 17:51:50 · 8121 阅读 · 0 评论 -
为什么法线贴图(Normal Mapping)都是蓝色的?
法线详解原创 2022-02-24 19:13:18 · 9592 阅读 · 2 评论 -
只需少量数据就能适应网络——《FEW-SHOT ADAPTATION OF GENERATIVE ADVERSARIAL NETWORKS》论文解析
今天来看一篇few-shot适应的论文,还挂在arxiv上,同时在github上也有开源的项目:http://www.estherrobb.com/few-shot-gan/这篇文章来自弗吉尼亚理工和谷歌研究院。谷歌研究院就喜欢搞一些开源、video什么的。那么这篇文章做了一件什么事呢?对于一个生成网络,我们本来需要大量的数据才能训练出一个好的结果,但是在某些情况下,我们只能获得少量的数据。因此合理地利用先验知识,在这个域中只使用少量数据就得到较好的结果就变得有必要了。那么就来看看是怎么做的吧:原创 2020-12-07 17:38:59 · 6752 阅读 · 4 评论 -
将你的脸变成动漫——《UI2I_via_StyleGAN2》论文解析
最近github上开源了一个有点意思的项目,将真实世界的人脸变成动漫里的脸,当然也支持油画风之类的其他风格,或是反过来也可以。github地址:https://github.com/HideUnderBush/UI2I_via_StyleGAN2那么是怎么做的呢?作者将其论文也挂出来了,我们来看一看。这篇论文的全名叫做《Unsupervised Image-to-Image Translation via Pre-trained StyleGAN2 Network》。首先我们需要确定一下我们原创 2020-11-27 17:51:16 · 1508 阅读 · 1 评论 -
人脸生成的最强算法——《StyleGAN》论文解析
今天我们来看一篇人脸生成的论文,这个算法我愿称之为业界最强。来自英伟达的styleGAN,全名《A Style-Based Generator Architecture for Generative Adversarial Networks》。这个算法做的事很简单,生成逼真的人脸。不仅开源了代码,还开源了数据集,地址:https://github.com/NVlabs/stylegan来看看算法思想:正常的GAN网络都如左边这个a图所示,直接一个隐变量z作为输入,输入到生成器后经过层层网原创 2020-11-25 19:50:11 · 8955 阅读 · 3 评论 -
生成属于你自己的字库——《RD-GAN》ECCV论文解析
今天看一篇few-shot的字体风格迁移论文,全名《RD-GAN: Few/Zero-Shot Chinese Character Style Transfer via Radical Decomposition and Rendering》,来自ECCV2020。这篇文章的核心创新点是:1、只需要少量数据就能生成需要的字体2、把汉字拆解成了部首3、提出了一个多层次的判别器算法流程如下图:主要分为三个模块,REM、RRM和多层次判别器。REM把一个字分成多个部分(部首).原创 2020-11-24 17:57:26 · 6511 阅读 · 0 评论 -
生成属于你自己的字库——《ChiroGAN》论文解析
这篇论文的全名叫做《GAN-Based Unpaired Chinese Character Image Translation via Skeleton Transformation and Stroke Rendering》,也是一个字体生成(风格迁移)算法,来自AAAI2020。与上一篇calliGAN(地址:https://blog.csdn.net/wenqiwenqi123/article/details/109775206)不同的是,这篇论文不需要使用paired data。啥意思呢?原创 2020-11-18 17:54:35 · 797 阅读 · 0 评论 -
生成属于你自己的字库——《CalliGAN:Style and Structure-aware Chinese Calligraphy Character Generator》论文解析
最近在准备CVPR比较忙,所以有点久没更新。今天来看一篇字体生成的论文,这篇论文的题目叫做:《CalliGAN:Style and Structure-aware Chinese Calligraphy Character Generator》,the work has been accepted to the AI for content creation workshop at CVPR 2020.是中了CVPR2020的workshop。那么这论文是做一件什么事呢?就是比如说你自己写了几百个字原创 2020-11-18 16:14:52 · 1353 阅读 · 4 评论 -
pix2pix鼻祖——《Image-to-Image Translation with Conditional Adversarial Networks》论文解析
今天要说的这篇论文,全名《Image-to-Image Translation with Conditional Adversarial Networks》,来自CVPR2017。这一篇可谓是pix2pix的开山之作,很有意思。论文地址:https://openaccess.thecvf.com/content_cvpr_2017/papers/Isola_Image-To-Image_Translation_With_CVPR_2017_paper.pdf那么这篇论文做了一件什么事呢?在我们的日常原创 2020-08-04 19:43:03 · 6429 阅读 · 0 评论 -
生成更精细的动漫脸——《Few-shot Knowledge Transfer for Fine-grained Cartoon Face Generation》论文解析
今天要介绍的这篇文章,来自北大和字节跳动AI lab。首先放上arxiv地址:https://www.arxiv-vanity.com/papers/2007.13332/这篇文章做了一件什么事呢?它在之前真实人脸转动漫的基础上,新加了Few-shot的算法,用少量数据就能让模型更好地生成某一类图片(比如老人、小孩)。事实上这是一次image2image+domain adaptation的很好的尝试,跟迁移学习的相关算法结合了一下。那么之前没看过那篇人脸转动漫文章的朋友可以先看看UGATI原创 2020-08-03 19:42:22 · 6797 阅读 · 0 评论 -
将照片变成动漫——cartoonGAN论文解析
把现实中拍的照片,变成动漫的画风,这就是cartoonGAN做到的事情。这篇论文的全名叫做:《CartoonGAN: Generative Adversarial Networks for Photo Cartoonization》cartoonGAN主要做了以下几点创新:1、提出了一个基于GAN的方法,使用不配对的训练集,将现实世界的照片转为卡通图片。2、提出了两个loss,...原创 2020-05-08 11:35:15 · 4183 阅读 · 0 评论 -
把周杰伦的脸放进漫画——MangaGAN人脸照片生成漫画论文解析
最近北航的同学们新出了一篇文章,把人脸的真实照片转换为《死神》风的漫画,效果如图所示:那么具体是怎么做到的呢,作者提出了三个创新点:1、作者提出了MangaGAN,模拟漫画画手,先用一个GAN生成夸张的脸部几何特征,再用定制的多个GAN精细地转换每一个面部区域。2、作者提出了一个相似度保留模块,它不仅能更好地保留脸部相似度,还能保留漫画的风格。同时作者提出了一个结构平滑损失,使得结...原创 2020-04-28 16:06:23 · 7577 阅读 · 1 评论 -
《DLOW:Domain Flow for Adaptation and Generalization》论文解析
今天说的这篇文章,也是用来解决迁移学习问题的。迁移学习要解决一个什么问题呢?就是要把模型在source域(源域)学习到的知识,用到target域(目标域)里。DLOW这篇文章主要提出了两点:1、可以把source域的数据迁移成中间域,中间域也就是介于source和target之间的域。 2、训练的时候如果有多个target域的话,DLOW可以生成网络没有见过的数据风格。那么接下来介绍...原创 2020-04-16 15:41:33 · 1598 阅读 · 0 评论 -
《Landmark Assisted CycleGAN for Cartoon Face Generation》人脸动漫化论文解析
如何用真实的人脸照片生成卡通风格的头像呢?今天我们再来看看另一篇文章。这篇文章来自香港中文大学+哈工大+腾讯优图。效果如下:当然我写的前两篇文章,也是在说头像动漫化,是另外两个算法,各有千秋。传送门:https://blog.csdn.net/wenqiwenqi123/article/details/105483884https://blog.csdn.net/wenqiwe...原创 2020-04-13 21:21:46 · 2430 阅读 · 0 评论 -
用小姐姐自拍,生成二次元萌妹子——《U-GAT-IT》人脸动漫化论文解析
韩国游戏公司NCSOFT最近开源了本算法的代码。这篇论文的全名为《U-GAT-IT: UNSUPERVISED GENERATIVE ATTENTIONAL NETWORKS WITH ADAPTIVE LAYERINSTANCE NORMALIZATION FOR IMAGE-TO-IMAGE TRANSLATION》,这个算法做了一件非常有趣的事,把输入的真实人脸头像转换为二次元风格。...原创 2020-04-13 16:05:44 · 9590 阅读 · 0 评论 -
《Learning to Cartoonize Using White-box Cartoon Representations》图像卡通化论文解析
这篇文章收录于CVPR2020,在图像卡通化上效果不错。github地址:https://github.com/SystemErrorWang/White-box-Cartoonization那么这篇文章做了一件什么事呢?就是把真实世界的照片转为卡通风格的:本文的思想主旨主要如下图:将一张真实世界的图片分解为三种特征标识:1、外观特征 2、结构特征 3、纹理特征。...原创 2020-04-01 20:18:44 · 4032 阅读 · 0 评论 -
《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》CycleGAN论文解析
鼎鼎大名的cycleGAN,今天我们来说一说这篇文章。首先介绍下GAN,传送门:https://blog.csdn.net/wenqiwenqi123/article/details/86178376介绍下GAN的损失函数,传送门:https://blog.csdn.net/wenqiwenqi123/article/details/105099445在确保你了解了GAN的原理后,我们...原创 2020-03-26 19:48:17 · 2139 阅读 · 0 评论 -
深度学习——GAN(生成网络)损失函数解析
生成网络(GAN)是近年来很火的课题,原始论文《Generative Adversarial Nets》的介绍请移步:https://blog.csdn.net/wenqiwenqi123/article/details/86178376 本篇主要详细解析它的损失函数。在论文中损失函数定义为: 当然乍一看去,没看懂这个损失函数。我们细细来看: ...原创 2020-03-25 17:22:48 · 18115 阅读 · 8 评论 -
《Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization》论文解析
Ulyanov发现在风格迁移上使用IN效果比BN好很多,从他开始凡是风格迁移都离不开IN和其变种AdaIN,本文简要介绍AdaIN这篇的原理。 下图为特征图张量,可以直观看出BN,LN,IN,GN等规范化方法的区别。N为样本维度,C为通道维度,H为height,W即width,代表特征图的尺寸。《Arbitrary Style Transfer in Real...原创 2020-03-24 16:32:11 · 1747 阅读 · 0 评论 -
《Batch Spectral Shrinkage for Safe Transfer Learning》论文解析
文章全名为《Catastrophic Forgetting Meets Negative Transfer:Batch Spectral Shrinkage for Safe Transfer Learning》1、摘要这篇文章主要针对模型的fine-tune问题进行优化。众所周知,在许多模型的训练中,使用预训练好的模型进行fine-tune可以使模型的训练更加容易且结果更好。但是因为两个...原创 2020-02-04 19:55:03 · 1080 阅读 · 0 评论 -
《Conditional Generative Adversarial Nets》论文解析
最近看了下deepnude的原理,其git上说的是使用了pixel2pixel技术,也就是说是这一篇:《Image-to-Image Translation with Conditional Adversarial Networks》这是加里福利亚大学在CVPR 2017上发表的一篇论文,讲的是如何用条件生成对抗网络实现图像到图像的转换任务。 > 原文链接:https://ar...原创 2019-12-27 11:34:29 · 6600 阅读 · 0 评论 -
深度学习--解决梯度爆炸方法(含TensorFlow代码)
在深层的神经网络中,经常碰到梯度消失或者梯度爆炸问题。我先讲一下原理,在求导的时候因为是链式法则,哪怕所有层的导数都很接近1,比如0.9,那么在20层之后0.9的20次方也只剩0.1左右。这就意味着越深层的误差难以影响到浅层的权重。若是导数再小一点这个梯度就直接消失了接近0。梯度爆炸也是同理,若每层导数都是2,传递了多层之后会非常大。当然防止梯度消失有许多办法,比如使用relu激活函数、使用bat...原创 2018-06-15 15:35:30 · 4828 阅读 · 0 评论 -
深度学习--RNN(循环神经网络)原理详解
RNN也就是循环神经网络,多用于处理时间序列上的数据,比如自然语言处理。如下图所示,x<1>为输入的第一个数据,x<2>为第二个,以此类推。在普通的神经网络中,x<1>就通过神经网络直接输出y<1>,同理x<2>对应y<2>,但在RNN中,之前的输入对之后的输出也同样有影响。如图所示,在输出y<2>时,既输入了x&原创 2018-06-15 14:39:42 · 8660 阅读 · 2 评论 -
深度学习、tensorflow--神经风格迁移(neural style transfer)原理以及实现代码
最近在计算机视觉界流行一个算法,神经风格迁移(neural style transfer),出自论文《 A Neural Algorithm of Artistic Style》,今天来让我们看看这究竟是怎么一回事。我们有一个内容图片(拿学校大门献丑了):一个风格图片:最终生成图片:是不是还是相当有意思的,我先介绍原理,一会给代码。首先,在介绍原理之前,确保你明白卷积神经网络(CNN)原理,CNN...原创 2018-02-14 21:33:35 · 17844 阅读 · 27 评论 -
深度学习--如何系统地调试并选择超参数
我们都知道,在深度学习乃至机器学习过程中,有很多超参数需要调试。本文主要介绍深度学习超参数调试方法。各参数重要性排序(由重要到不重要),排序根据吴恩达所述:学习率、隐藏层单元数、mini batch大小、隐层数、学习率衰减系数。根据博主调试代码的经验,重要性排序如下:隐层数、隐藏层单元数、mini batch大小、学习率、学习率衰减系数。Andrew Ng说的情况适用于数据很多原创 2018-01-31 20:37:14 · 2440 阅读 · 1 评论 -
深度学习--简述卷积层如何检测物体边缘原理
对计算机视觉与深度学习有所了解的同学应该知道图像卷积可以识别出物体,在神经网络的前几层,识别出物体最基础的例如垂直或是水平的边缘。在之后的隐藏层慢慢可以识别出物体的部分,直到最后几层可以识别出完整的物体。本篇文章主要介绍卷积层为何可以检测出这些。先介绍一个概念,过滤器:这是一个3*3的过滤器,是一个矩阵,数值如上所示,一会介绍这是干嘛用的。假设我们有一个6*6的灰度图像:原创 2018-02-03 18:51:34 · 6055 阅读 · 2 评论 -
深度学习--GRU(门控循环单元)原理详解
上一篇中已经总结了RNN的原理,传送门:https://blog.csdn.net/wenqiwenqi123/article/details/80704528本文讲解一下GRU的原理,GRU对于RNN中的梯度消失有很大帮助。GRU即Gated Recurrent Unit。前面说到为了克服RNN无法很好处理远距离依赖而提出了LSTM,而GRU则是LSTM的一个变体,当然LSTM还有有很多其他的变...原创 2018-06-15 17:26:03 · 25333 阅读 · 5 评论 -
深度学习--LSTM(长短时记忆网络)原理详解
上篇文章介绍了GRU,建议不太了解RNN和GRU的同学看看我上一篇文章:https://blog.csdn.net/wenqiwenqi123/article/details/80707810这篇来说一说LSTM,这两个最大的不同之处在于LSTM多了一个门。GRU有update gate(更新门)、reset gate(重置门)。而LSTM有三个门,update gate(更新门),forget ...原创 2018-06-19 17:14:38 · 10298 阅读 · 1 评论 -
《Deep Residual Learning for Image Recognition》论文解析
朋友们从本周开始我会着手更新新系列的博客,论文解析系列。当然此系列我会尽力细致地介绍论文,不过因为水平有限,难免会有理解不到位甚至错误的地方,因此欢迎评论探讨。同时本系列更趋向于介绍论文大致思想,对于论文中太细的小细节便不再做更多介绍,若是大家想更加详细地了解一篇论文的话,还是去看英文原版的吧。但若是想快速了解论文思想和梗概或是不一样的读者想法,大概看看我的博客也不错。欢迎大家评论区留言提建议。...原创 2018-12-10 21:06:17 · 11788 阅读 · 3 评论 -
《Residual Attention Network for Image Classification》论文解析
不好意思上周感冒发烧了,这周继续更。今天要介绍的是一篇attention机制的文章,在加入attention后能取得不错的效果,来自商汤CVPR2017。首先注明版权,本文借鉴于:知乎:https://zhuanlan.zhihu.com/p/36838135#showWechatShareTipCSDN:https://blog.csdn.net/wspba/article/de...原创 2018-12-27 20:13:14 · 6500 阅读 · 0 评论 -
《Squeeze-and-Excitation Networks》论文解析
论文链接:https://arxiv.org/abs/1709.01507代码地址:https://github.com/hujie-frank/SENetPyTorch代码地址:https://github.com/miraclewkf/SENet-PyTorchSequeeze-and-Excitation(SE) block并不是一个完整的网络结构,而是一个子结构,可以嵌到其他分类或...原创 2019-01-04 16:14:13 · 7520 阅读 · 0 评论 -
《Generative Adversarial Nets》论文解析
GAN是最近几年来很有名的算法,起源于这篇论文,我们今天来看看究竟是怎么一回事吧。我也不想叽里呱啦讲一大堆,想看论文翻译版的直接复制粘贴谷歌翻译就行了。我只介绍大致思想。GAN其实目标就是生成能以假乱真的图片,于是这里有两个子网络,生成网络(generative model)和判别网络(discriminative model),分别称为G和D。D的目标就是尽力分辨出哪个图片是真实数据哪个...原创 2019-01-09 21:18:24 · 9488 阅读 · 2 评论 -
《Face-to-Parameter Translation for Game Character Auto-Creation》智能捏脸论文解析
网易游戏伏羲AI lab最近出了一片文章,《Face-to-Parameter Translation for Game Character Auto-Creation》,收录于ICCV。这篇文章解决了一个问题:可以在游戏的捏脸系统中实现输入一张人脸照片,然后生成相似的游戏角色。如图所示:让我们再细化一下这个问题,假设一个游戏的捏脸参数有200个,那么这个算法的功能就是:输入一张人脸图...原创 2019-09-25 17:31:34 · 7801 阅读 · 3 评论 -
深度学习--训练集验证集测试集合理划分比例
众所周知,在机器学习深度学习领域,合理划分训练集验证集和测试集是很重要的,本文主要介绍如何划分。过去,人们运用机器学习传统方法的时候,一般将训练集和测试集划为7:3.若有验证集,则划为6:2:2. 这样划分确实很科学,当数据量不大的时候(万级别及以下)。但到了大数据时代,数据量陡增为百万级别,此时我们不需要那么多的验证集和训练集。假设有100W条数据,只需要拿出1W条来当验原创 2018-02-01 19:52:13 · 73106 阅读 · 7 评论