闪闪·Style-CSDN博客

原创【实战】文本驱动的StyleGAN2图像处理（三）：全局指向（Global Direction）

StyleCLIP项目由以色列的耶路撒冷希伯来大学、特拉维夫大学和Adobe研究所共同完成，它用对比语言—图像预训练（CLIP）模型的力量，为StyleGAN2 图像处理开发一个基于文本的输入界面，利用StyleGAN2的潜在空间来操纵生成的StyleGAN2图像，而不需要人工去操作或修饰图像。简单地说，就是写一段文字，指导StyleGAN2生成具备指定特征的图像。论文地址：https://arxiv.org/abs/2103.17249Github项目：https://github.com/orp

2021-07-13 11:57:39 3418 5

原创【实战】（以色列·特拉维夫大学）将 E4E 成功移植到Windows 10: StyleGAN2图像处理编码器的设计，支持Pytorch Cuda/C++ Extension

StyleClip项目支持写一段文字，指导StyleGAN2生成具备指定特征的图像。但这个项目的一些中间数据，比如：在Pytorch环境下对应于输入原图的StyleGAN2反演（Inversion）潜码

2021-06-21 16:40:34 4442 4

原创【实战】文本驱动的StyleGAN2图像处理（二）：潜码映射器（Latent Mapper）

CLIP（Contrastive Language–Image Pre-training，对比语言-图像预训练）是OpenAI旗下的力作，通过从网上搜集的4亿未清洗“图像-文本对”数据，用对比学习目标完成训练。无需直接对任务进行优化，它可以用自然语言来预测最相关的“图像-文本对”，这类似于GPT-2和3的零快照功能。————————————————版权声明：本文为CSDN博主「闪闪·Style」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://

2021-06-08 15:59:53 7593 5

原创【实战】（以色列·希伯来大学）文本驱动的StyleGAN2图像处理（一）：StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery

CLIP（对比语言图像预训练）是一种在多种（图像、文本）对上训练的神经网络。它可以用自然语言来预测最相关的文本片段，给定一幅图像，而无需直接优化任务，类似于GPT-2和3的零快照功能。...

2021-06-03 12:11:47 3488 25

原创【实战】（字节跳动、日本东京大学）学习使用白盒表示+GAN来创作卡通图片：Learning to Cartoonize Using White-Box Cartoon Representations

要说亚洲动漫制作的王者，当然是我们一衣带水的邻邦——日本。2020年日本东京大学发表了一篇《Learning to Cartoonize Using White-Box Cartoon Representations》（学习使用白盒表示法来创作卡通图片），基于卡通图片的绘画技法和图像特点，可以将真实的人物或风景图片转化为卡通图片，效果很出色，在这篇文章里我们介绍一下这个项目。论文地址：https://github.com/SystemErrorWang/White-box-Cartoonizatio

2021-04-12 16:55:25 1355 1

原创（英国剑桥大学）部署机器学习中的挑战：案例研究综述（下）中文译文 Challenges in Deploying Machine Learnings: a Survey of Case Studies

论文原文：https://arxiv.org/pdf/2011.09926.pdf翻译：闪闪·Style前一篇文章：（英国剑桥大学）部署机器学习中的挑战：案例研究综述（中）中文译文（8）潜在解决方案的讨论这篇综述着眼于不同行业的案例研究：计算机网络、制造业、太空探索、执法、银行业等等。然而，糟糕的部署经验会严重阻碍机器学习应用的进一步增长。为了使机器学习部署可扩展并允许每个可能从中受益的业务访问到这些资源，了解最关键的痛点并提供解决这些问题的工具、服务和最佳实践非常重要。我们认为..

2020-12-24 12:48:52 506 1

原创（英国剑桥大学）部署机器学习中的挑战：案例研究综述（中）中文译文 Challenges in Deploying Machine Learnings: a Survey of Case Studies

论文原文：https://arxiv.org/pdf/2011.09926.pdf翻译：闪闪·Style（5）模型验证模型验证阶段的目标是多方面的，因为机器学习模型应该很好地推广到看不见的输入，证明对边缘情况的合理处理和整体的健壮性，并且满足所有的功能需求。在本节中，我们将讨论模型验证的三个步骤：需求编码、形式化验证和基于测试的验证。（5.1）需求编码定义机器学习模型的需求是测试活动的一个重要先决条件。通常情况下，模型性能的提高并不能转化为业务价值的增加，如Booking.com在.

2020-12-23 12:13:24 965 1

原创（英国剑桥大学）部署机器学习中的挑战：案例研究综述（上）中文译文 Challenges in Deploying Machine Learnings: a Survey of Case Studies

论文原文：https://arxiv.org/pdf/2011.09926.pdf翻译：闪闪·Style摘要近年来，作为一个学术研究领域，同时也是实际商业问题的一种解决方案，机器学习越来越受到人们的关注。然而，在生产系统中部署机器学习模型可能会引发一些问题和关注点。本综述回顾了在各种用例、行业与应用程序中部署机器学习解决方案的公开报告，并提取了与机器学习部署工作流阶段相对应的多个实际考虑事项。我们的调查显示，从业者在部署的每个阶段都面临挑战。本文的目标是规划一个研究议程，以探索解决这些.

2020-12-18 16:00:07 750

原创【延伸阅读】让老照片重现光彩（五）：Pix2PixHD模型源代码+中文注释

英伟达公司和加州大学伯克利分校于2018年发表的“基于有条件GAN的高分辨率图像合成及语义操控”项目，是本项目“让老照片重现光彩”的技术基础，算是一个前置开源项目。“基于有条件GAN的高分辨率图像合成及语义操控”项目的技术核心是Pix2PixHD模型，我们在这里分享一下相关的源代码+中文注释，基于此可以加深对“让老照片重现光彩”项目的理解（尤其是，在老照片项目的模型与训练源代码尚未开源的情况下）。“基于有条件GAN的高分辨率图像合成及语义操控”项目在GitHub上的链接是：https://githu

2020-11-25 11:57:33 3026 6

原创【延伸阅读】让老照片重现光彩（四）：《基于有条件GAN的高分辨率图像合成及语义操控》论文的中文译文

英伟达公司和加州大学伯克利分校于2018年发表的“基于有条件GAN的高分辨率图像合成及语义操控”项目，是本项目“让老照片重现光彩”的技术基础，算是一个前置开源项目。为了更好地理解本项目，我们在这里分享了《基于有条件GAN的高分辨率图像合成及语义操控（High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs）》论文的中文译文，供大家参考、学习。英文原文的下载地址：https://arxiv.org/abs

2020-11-24 16:50:10 2009 3

原创让老照片重现光彩（三）：完整论文的中文译文

香港城市大学和微软亚洲研究院的“让老照片重现光彩”（Bringing Old Photos Back to Life）项目的论文地址：https://arxiv.org/abs/2004.09484完整论文的中文译文如下：让老照片重现光彩（香港城市大学，微软亚洲研究院 2020）我们建议通过深入学习的方法恢复严重退化的旧照片。与传统的有监督学习方法不同的是，真实照片的退化是复杂的，合成图像与真实旧照片之间的域间隙使得网络无法进行泛化。因此，我们提出一个新的三重态域翻译网络，..

2020-10-29 16:35:12 2715

原创让老照片重现光彩（二）：源代码整体结构与关键语句注释（不含模型部分）

香港城市大学和微软亚洲研究院的“让老照片重现光彩”（Bringing Old Photos Back to Life）项目的源代码比较长，在这里做一些简单的分析：（一）主程序：run.py主程序一共分为4个步骤，分别是：步骤1：照片整体修复；步骤2：面部检测，找出需要增强修复的人脸；步骤3：对检测出的人脸进行增强修复；步骤4：将增强修复后的人脸融合到原图，完成全部修复。（二）步骤1，./Global/detection.py 使用 Unet 进行图像分割，检测出划痕，生成mask文件：

2020-10-27 16:44:37 1567 3

原创【实战】（香港城市大学，微软亚洲研究院）让老照片重现光彩（一）：Bringing Old Photos Back to Life

香港城市大学和微软亚洲研究院的“让老照片重现光彩”（Bringing Old Photos Back to Life）项目侧重于对老照片进行划痕修复和人脸效果增强，在老照片处理方面取得了很好的成绩，在这篇文章里我们介绍一下这个项目。论文地址：https://arxiv.org/abs/2004.09484Github项目：https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life（一）架构简介作者开创性地使用了两个变分.

2020-09-22 17:40:04 5301 24

原创【实战】DGP（Deep Generative Prior）：基于图像的先验概率分布，尝试进行图像的上色、修复、超分和变形

预训练的 GAN 模型包含了对训练图像的先验知识（image prior），可以利用这些先验知识对某些图像进行重建，包括：上色、修复、超分、变形等。这里我们引用了香港中文大学潘新钢博士的一篇论文，看一看这样做的效果如何。论文地址：https://arxiv.org/abs/2003.13659Github项目：https://github.com/XingangPan/deep-generative-prior上手过程（ Windows 10，NVIDIA GeForce RTX 2080.

2020-09-17 17:55:04 2189 1

原创【实战】怎样放大 StyleGAN2 生成的 1024x1024 高清图片，以实现更大幅面的高清打印？

我们用 StyleGAN2 成功创建了 1024x1024 的高清人脸图片或者其他艺术图片，有时我们需要把这样的图片继续放大，以支持大幅面的高清打印以用于娱乐、布景或者展览等等，那么我们应该怎么做呢？这篇文章介绍了两个方法，一个是有开源代码支持的技术原型，大家可以用它来研究高清放大的技术原理和代码实现；另外一个是商业软件，可以用于实际的工作。（一）采用EDSR、WDSR 和 SRGAN 的单图像超分技术（1.1）开源代码地址：https://github.com/krasserm/super-r

2020-08-19 09:28:36 2590

原创【实战】PULSE + ALAE：使用 StyleGAN 从低阶图像重建高清人脸

如果有我们一张低阶的、非常模糊的人脸图像，希望把它恢复成高清人脸，然后辨认这个人脸是否是某个人，应该怎么做？举个例子，某个小区发生了一起盗窃案，我们只是从监控录像中截取到一个非常模糊的人脸，能够用StyleGAN的方法像公安刑侦的“嫌疑人画像”一样，快速地重建高清人脸吗？或者，我们找到一张20年前的一张照片，只从上面提取到一个非常小的人脸，能够有办法把它复原成一张高清大图吗？下面介绍两个 github.com 上的开源项目，一个用于重建人脸（PULSE），一个用于调整参数（ALAE）。（一）

2020-06-23 13:37:30 3323 9

原创【实战】轻轻松松使用StyleGAN2（九）：比较 StyleGAN2 重建真实人脸的四种方法

StyleGAN2显著地提高了生成图像的质量，作为其中一个应用，利用StyleGAN2找到真实图像的最优潜码并重建图像，是一个有意思的话题。到目前为止，我们收集到了四种重建真实图像的方法，分别是：（1）StyleGAN2 官网自带的 run_projector.py，参见：轻轻松松使用StyleGAN2（二）：使用run_projector.py将真实人脸投射到StyleGAN2 dlatents空间并重建图像（2）rolux基于 run_projector.py 改进的 project_ima

2020-06-05 18:44:55 7982 2

原创【实战】轻轻松松使用StyleGAN2（八）：用 StyleGAN2 生成印象派油画

StyleGAN2具有非常强的学习能力，除了可以用来生成人脸之外，官网还提供了其他一些模型，包括：小汽车、教堂、猫和马，已经训练好的模型可以到官网上下载，官网地址是：https://github.com/NVlabs/stylegan2也可以到百度网盘上下载，具体链接是：（1）1024x1024人脸模型：https://pan.baidu.com/s/1_cRyamHP_Amj0srCbiB5_g提取码:cnby（2）512x384小汽车模型：https://pan.baidu.co

2020-06-02 16:09:48 3528

原创 StyleGAN2探骊得珠（四）：论文精读与注释，二代为什么放弃了Progressive Growing？

我们在前两篇篇文章里分别学习了StyleGAN2是怎样消除液滴伪影，又是怎样利用PPL来提升图像质量的，内容请参考：StyleGAN2探骊得珠（二）：论文解读与注释，一代中的ARTIFACT是怎样产生的，二代网络中又是怎样消除它们的？StyleGAN2探骊得珠（三）：论文解读与注释，二代是怎样利用PPL来提升图像质量的？本篇文章将进一步学习StyleGAN2为什么放弃了渐进式生长（Pr...

2020-05-09 11:01:55 2380

原创 StyleGAN2探骊得珠（三）：论文精读与注释，二代是怎样利用PPL来提升图像质量的？

论文引言（Introduction）部分的第4段，作者开宗明义，对于用生成（对抗网络）方法产生的图像，图像质量的定量分析依然是一个具有挑战性的主题。Fréchet Inception Distance（FID）测量的是（被分析图像在）两个分布密度上的差异，而这两个分布是在Inception V3分类器的高维特征空间上进行计算而得到的。精确度和召回率（P&R）通过显式地量化指标提供了...

2020-05-02 09:42:40 3057

原创 StyleGAN2探骊得珠（二）：论文精读与注释，一代中的ARTIFACT是怎样产生的，二代网络中又是怎样消除它们的？

为了区别起见，在下面的正文中我们将原始的StyleGAN称之为一代StyleGAN（在直接匹配论文原文的翻译中，仍然称之为StyleGAN），改进后的版本我们称之为StyleGAN2。一代StyleGAN生成的图像有一个很明显的缺陷，就是在几乎所有的图像中都会出现液滴状伪影（aritifact），所以StyleGAN2把消除液滴伪影作为一个最优先的工作来完成。那么一代StyleGAN为什么...

2020-04-27 00:36:22 3149 6

原创 StyleGAN2探骊得珠（一）：论文精读与注释，文中的SCALE这个词到底是什么意思？

StyleGAN2的论文标题是：《Analyzing and Improving the Image Quality of StyleGAN》，它剖析了第一代StyleGAN实践中发现的一些深层次问题，并就此进行了一些卓有成效的优化。研究这篇论文，让我们有机会能够一窥神经网络实践中的一些奥妙，有助于我们理解神经网络的设计原理和技巧，使得我们有可能设计自己的神经网络并对它进行优化。Style...

2020-04-21 19:23:54 3838 1

原创轻轻松松使用StyleGAN2（七）：详解并中文注释training_loop.py，看一看StyleGAN2是怎样构建训练图并进行训练的？

StyleGAN2训练神经网络的主程序是.\run_training.py，这个程序里，大量的内容都是针对config-a、config-b、config-c ......config-e进行参数配置，注释中说：# Configs A-E: Shrink networks to match original StyleGAN.大致意思是说，从A-E是在baseline基础版本上不断添加优...

2020-03-20 16:23:33 13937 12

原创轻轻松松使用StyleGAN2（六）：StyleGAN2 Encoder是怎样加载训练数据的？源代码+中文注释，dataset_tool.py和dataset.py

上一篇文章里，我们简单介绍了StyleGAN2 Encoder的一部分源代码，即：projector.py和project_images.py，内容请参考：轻轻松松使用StyleGAN2（五）：StyleGAN2 Encoder源代码初探+中文注释，projector.py和project_images.py其中有两个函数，涉及到相关数据加载的功能，在这篇文章里我们花一点时间来看一下。...

2020-02-22 15:59:41 5705 10

原创轻轻松松使用StyleGAN2（五）：StyleGAN2 Encoder源代码初探+中文注释，projector.py和project_images.py

StyleGAN2 Encoder使用18x512的dlatents进行迭代优化，实现对目标图片的“无限逼近”并重建高质量图像，保存对应的dlatents用于后续处理。获取StyleGAN2 Encoder，GitHub上的链接是：https://github.com/rolux/stylegan2encoderStyleGAN2 Encoder改写了StyleGAN2的project...

2020-02-12 11:10:55 16660 9

原创【实战】轻轻松松使用StyleGAN2（四）：StyleGAN2 Encoder，使用projector_images.py重建高质量人脸图像

上一篇文章，讲到用StyleGAN2 Encoder的encode_images.py将真实人脸图片映射到dlatents，并且使用人脸编辑向量让女朋友开心笑起来，内容请参考：轻轻松松使用StyleGAN2（三）：一笑倾人城，再笑倾人国：让你的女朋友开心笑起来在StyleGAN2 Encoder的官网中，还使用了另外一种方法找到latents，并且使用起来也很简便，就是使用projecto...

2020-01-09 12:11:21 10015 11

原创【实战】轻轻松松使用StyleGAN2（三）：一笑倾人城，再笑倾人国：让你的女朋友开心笑起来

我们可以用StyleGAN2提取真实人脸的latents，并且用这样的latents重建人脸图像。一种方法是直接使用StyleGAN2 projector，内容请参考：轻轻松松使用StyleGAN2（二）：使用run_projector.py将真实人脸投射到StyleGAN2 dlatents空间并重建图像另外一种，是使用StyleGAN2 Encoder，下面我们着重讲这一种方法。...

2020-01-03 14:01:43 14495 79

原创【实战】轻轻松松使用StyleGAN2（二）：使用run_projector.py将真实人脸投射到StyleGAN2 dlatents空间并重建图像

StyleGAN Encoder可以将真实人脸投射到StyleGAN的dlatents空间，并且突破了18*512向量空间18层数据一致的限制，能够最大限度地在扩展后的向量空间中“摸索”，得到的dlatents最优解经StyleGAN模型运算后，重建图像可以非常接近真实人脸的原始图像，具体内容请参考：轻轻松松使用StyleGAN（六）：StyleGAN Encoder找到真实人脸对应的特征码，...

2019-12-27 11:05:18 13220 31

原创【实战】轻轻松松使用StyleGAN2（一）：试用经验分享

StyleGAN2的代码和经过训练的模型：https://github.com/NVlabs/stylegan2有空试用了一下，有一些很浅显的经验分享给大家：（1）先说说运行的必备环境：其中，比较触目惊心的是需要有16GB内存的NVIDIA GPU（即：NVIDIA Tesla V100），简单跑了一下它的“run_generator.py”程序，发现我的只有6GB内存的NVIDIA ...

2019-12-19 12:29:46 32938 23

原创 StyleGAN2今天正式发布！

StyleGAN最明显的缺点是生成的图像有时包含斑点似的伪影(artifacts)，经过几个月的改进，这一缺陷被完美解决。今天，NVIDIA的研究人员发布了StyleGAN的升级版——StyleGAN2，重点修复artifacts问题，并进一步提高了生成图像的质量。StyleGAN2 — Official TensorFlow Implementation论文地址：https://ar...

2019-12-13 23:01:51 2314 1

原创轻轻松松使用StyleGAN（八）：StyleGAN Encoder的align_images.py代码解析+中文注释

在StyleGAN Encoder中，人脸对齐（face_alignment）是一个不可缺少的操作。对没有进行人脸对齐的真实人脸图片，直接运行encode_images.py会大概率遇到不能收敛的情况（即：找不到对应真实人脸的dlatents向量），或者生成的图片只有人脸轮廓，五官相貌一片模糊。这里的一个启发是，如果打算将StyleGAN这样的神经网络重新训练，用于生成服装样式或者汽车外观设计...

2019-12-12 12:37:58 6071 18

原创花絮：用StyleGAN Encoder识别并重建国画和油画中的人脸

在上一篇文章中，我们展现了如何用StyleGAN Encoder为女朋友制作美丽头像，内容请参考：https://blog.csdn.net/weixin_41943311/article/details/103348865那么，如果我们打算把名家绘画作品中的人物取出来处理一下，会有什么结果呢？花一个小时简单地试了试，结果如下：（1）五幅国画，分别是：（1.1）铁拐李和吕洞宾（...

2019-12-04 17:50:39 2099 5

原创【实战】轻轻松松使用StyleGAN（七）：用StyleGAN Encoder为女朋友制作美丽头像

在上一篇文章里，我们下载了StyleGAN Encoder的源代码和相关资源，可以实现对真实人脸特征码的提取，内容请参考：https://blog.csdn.net/weixin_41943311/article/details/103030194那么，针对我们感兴趣的话题，如何用StyleGAN Encoder为女朋友制作美丽头像呢？这里的美丽头像，一定不能等同于美图秀秀和抖音里面的美颜...

2019-12-02 17:06:24 8408 13

原创【实战】轻轻松松使用StyleGAN（六）：StyleGAN Encoder找到真实人脸对应的特征码，核心源代码+中文注释

在上一篇文章中，我们用了四种方法来寻找真实人脸对应的特征码，都没有成功，内容请参考：https://blog.csdn.net/weixin_41943311/article/details/102952854而事实上，这个问题在2017年2月就已经被美国加州大学圣迭戈分校的Zachary C Lipton和Subarna Tripathi解决，他们的研究成果发表在下面的网址上：htt...

2019-11-12 17:13:19 13850 19

原创轻轻松松使用StyleGAN（五）：提取真实人脸特征码的一些探索

我们在上一篇文章中提到：能不能给出一个目标图像，使用神经网络自动提取出它的特征码呢？如果可以，那么我们就可以方便地对这些图像进行编辑，创造出各种各样“酷炫”的风格人像。这个工作可以分为两步：（1）先利用StyleGAN生成的特征码和生成的人脸图像训练一个网络，把人脸图像作为输入，把特征码作为输出，理论上可以得到一个StyleGAN的逆向网络模型，如果训练成功的话，这个模型可以自动将人脸...

2019-11-07 14:10:07 7137 6

原创【实战】轻轻松松使用StyleGAN（四）：对StyleGAN的逆向网络的训练过程进行优化

前面我们介绍了如何构造StyleGAN的逆向网络，并通过训练得到一个比较好的模型，并利用这样的模型从目标图像中提取特征码，内容请参考：https://blog.csdn.net/weixin_41943311/article/details/102370766在训练过程中，我们使用了一些训练技巧，将accuracy从0.8933最终提升到0.9501，下面简单介绍一下逐步优化的过程：（1...

2019-10-17 10:56:06 6231 11

原创【实战】轻轻松松使用StyleGAN（三）：基于ResNet50构造StyleGAN的逆向网络，从目标图像提取特征码

在前面的文章里，我们可以利用StyleGAN创建令人惊讶的黄种人脸和专属于自己的老婆动漫头像，内容请参考：https://blog.csdn.net/weixin_41943311/article/details/100539707并且，我们知道，可以对特征码进行混合与编辑，改变这些人脸和动漫头像的风格，内容请参考：https://blog.csdn.net/weixin_419433...

2019-10-08 11:46:24 9538 18

原创【实战】使用keras.applications.resnet50.ResNet50训练数据集并进行图像分类，源代码+中文注释

ResNet是ILSVRC 2015在图像分类，检测和定位方面的赢家，也是MS COCO 2015检测和分割的获胜者。ResNet50是一个用于图像分类的简单、高度模块化的网络结构，它已经成为keras中的一个标准模块。基于ResNet50可以构造很多个性化的应用，因此学习使用一下ResNet50很有必要。关于keras.applications.resnet50.ResNet5...

2019-10-08 10:52:35 19164 26

原创【实战】轻轻松松使用StyleGAN（二）：源代码初探+中文注释，generate_figure.py

上周我们尝试使用StyleGAN的pretrained_example.py来生成人像和动漫少女头像，效果很不错，请参考：https://blog.csdn.net/weixin_41943311/article/details/100539707但是，StyleGAN还是显得很神秘，网上可以查到的中文资料也非常少，于是决定由浅入深，探一探StyleGAN功能和代码的究竟。先看一下St...

2019-09-10 12:53:58 12845 10

原创【实战】轻轻松松使用StyleGAN（一）：创建令人惊讶的黄种人脸和专属于自己的老婆动漫头像

NVIDIA（英伟达）开源了StyleGAN，用它可以生成令人惊讶的逼真人脸；也可以像某些人所说的，生成专属于自己的老婆动漫头像。这些生成的人脸或者动漫头像都是此前这个世界上从来没有过的，完全是被“伟大的你”所创造出来的。StyleGAN的源码可以到这里下载：https://github.com/NVlabs/stylegan有好事者把StyleGAN的论文翻译成中文，虽然阅读起来也并...

2019-09-04 16:01:19 21167 25

空空如也

空空如也