weixin_41943311的博客

StyleCLIP项目由以色列的耶路撒冷希伯来大学、特拉维夫大学和Adobe研究所共同完成，它用对比语言—图像预训练（CLIP）模型的力量，为StyleGAN2 图像处理开发一个基于文本的输入界面，利用StyleGAN2的潜在空间来操纵生成的StyleGAN2图像，而不需要人工去操作或修饰图像。简单地说，就是写一段文字，指导StyleGAN2生成具备指定特征的图像。论文地址：https://arxiv.org/abs/2103.17249Github项目：https://github.com/orp

StyleClip项目支持写一段文字，指导StyleGAN2生成具备指定特征的图像。但这个项目的一些中间数据，比如：在Pytorch环境下对应于输入原图的StyleGAN2反演（Inversion）潜码

CLIP（Contrastive Language–Image Pre-training，对比语言-图像预训练）是OpenAI旗下的力作，通过从网上搜集的4亿未清洗“图像-文本对”数据，用对比学习目标完成训练。无需直接对任务进行优化，它可以用自然语言来预测最相关的“图像-文本对”，这类似于GPT-2和3的零快照功能。————————————————版权声明：本文为CSDN博主「闪闪·Style」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://

CLIP（对比语言图像预训练）是一种在多种（图像、文本）对上训练的神经网络。它可以用自然语言来预测最相关的文本片段，给定一幅图像，而无需直接优化任务，类似于GPT-2和3的零快照功能。...

要说亚洲动漫制作的王者，当然是我们一衣带水的邻邦——日本。2020年日本东京大学发表了一篇《Learning to Cartoonize Using White-Box Cartoon Representations》（学习使用白盒表示法来创作卡通图片），基于卡通图片的绘画技法和图像特点，可以将真实的人物或风景图片转化为卡通图片，效果很出色，在这篇文章里我们介绍一下这个项目。论文地址：https://github.com/SystemErrorWang/White-box-Cartoonizatio

论文原文：https://arxiv.org/pdf/2011.09926.pdf翻译：闪闪·Style前一篇文章：（英国剑桥大学）部署机器学习中的挑战：案例研究综述（中）中文译文（8）潜在解决方案的讨论这篇综述着眼于不同行业的案例研究：计算机网络、制造业、太空探索、执法、银行业等等。然而，糟糕的部署经验会严重阻碍机器学习应用的进一步增长。为了使机器学习部署可扩展并允许每个可能从中受益的业务访问到这些资源，了解最关键的痛点并提供解决这些问题的工具、服务和最佳实践非常重要。我们认为..

论文原文：https://arxiv.org/pdf/2011.09926.pdf翻译：闪闪·Style（5）模型验证模型验证阶段的目标是多方面的，因为机器学习模型应该很好地推广到看不见的输入，证明对边缘情况的合理处理和整体的健壮性，并且满足所有的功能需求。在本节中，我们将讨论模型验证的三个步骤：需求编码、形式化验证和基于测试的验证。（5.1）需求编码定义机器学习模型的需求是测试活动的一个重要先决条件。通常情况下，模型性能的提高并不能转化为业务价值的增加，如Booking.com在.

论文原文：https://arxiv.org/pdf/2011.09926.pdf翻译：闪闪·Style摘要近年来，作为一个学术研究领域，同时也是实际商业问题的一种解决方案，机器学习越来越受到人们的关注。然而，在生产系统中部署机器学习模型可能会引发一些问题和关注点。本综述回顾了在各种用例、行业与应用程序中部署机器学习解决方案的公开报告，并提取了与机器学习部署工作流阶段相对应的多个实际考虑事项。我们的调查显示，从业者在部署的每个阶段都面临挑战。本文的目标是规划一个研究议程，以探索解决这些.

英伟达公司和加州大学伯克利分校于2018年发表的“基于有条件GAN的高分辨率图像合成及语义操控”项目，是本项目“让老照片重现光彩”的技术基础，算是一个前置开源项目。“基于有条件GAN的高分辨率图像合成及语义操控”项目的技术核心是Pix2PixHD模型，我们在这里分享一下相关的源代码+中文注释，基于此可以加深对“让老照片重现光彩”项目的理解（尤其是，在老照片项目的模型与训练源代码尚未开源的情况下）。“基于有条件GAN的高分辨率图像合成及语义操控”项目在GitHub上的链接是：https://githu

英伟达公司和加州大学伯克利分校于2018年发表的“基于有条件GAN的高分辨率图像合成及语义操控”项目，是本项目“让老照片重现光彩”的技术基础，算是一个前置开源项目。为了更好地理解本项目，我们在这里分享了《基于有条件GAN的高分辨率图像合成及语义操控（High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs）》论文的中文译文，供大家参考、学习。英文原文的下载地址：https://arxiv.org/abs

香港城市大学和微软亚洲研究院的“让老照片重现光彩”（Bringing Old Photos Back to Life）项目的论文地址：https://arxiv.org/abs/2004.09484完整论文的中文译文如下：让老照片重现光彩（香港城市大学，微软亚洲研究院 2020）我们建议通过深入学习的方法恢复严重退化的旧照片。与传统的有监督学习方法不同的是，真实照片的退化是复杂的，合成图像与真实旧照片之间的 域间隙使得网络无法进行泛化。因此，我们提出一个新的三重态域翻译网络，..

香港城市大学和微软亚洲研究院的“让老照片重现光彩”（Bringing Old Photos Back to Life）项目的源代码比较长，在这里做一些简单的分析：（一）主程序：run.py主程序一共分为4个步骤，分别是：步骤1：照片整体修复；步骤2：面部检测，找出需要增强修复的人脸；步骤3：对检测出的人脸进行增强修复；步骤4：将增强修复后的人脸融合到原图，完成全部修复。（二）步骤1，./Global/detection.py 使用 Unet 进行图像分割，检测出划痕，生成mask文件：

香港城市大学和微软亚洲研究院的“让老照片重现光彩”（Bringing Old Photos Back to Life）项目侧重于对老照片进行划痕修复和人脸效果增强，在老照片处理方面取得了很好的成绩，在这篇文章里我们介绍一下这个项目。论文地址：https://arxiv.org/abs/2004.09484Github项目：https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life（一）架构简介作者开创性地使用了两个变分.

预训练的 GAN 模型包含了对训练图像的先验知识（image prior），可以利用这些先验知识对某些图像进行重建，包括：上色、修复、超分、变形等。这里我们引用了香港中文大学潘新钢博士的一篇论文，看一看这样做的效果如何。论文地址：https://arxiv.org/abs/2003.13659Github项目：https://github.com/XingangPan/deep-generative-prior上手过程（ Windows 10，NVIDIA GeForce RTX 2080.

我们用 StyleGAN2 成功创建了 1024x1024 的高清人脸图片或者其他艺术图片，有时我们需要把这样的图片继续放大，以支持大幅面的高清打印以用于娱乐、布景或者展览等等，那么我们应该怎么做呢？这篇文章介绍了两个方法，一个是有开源代码支持的技术原型，大家可以用它来研究高清放大的技术原理和代码实现；另外一个是商业软件，可以用于实际的工作。（一）采用EDSR、WDSR 和 SRGAN 的单图像超分技术（1.1）开源代码地址：https://github.com/krasserm/super-r

如果有我们一张低阶的、非常模糊的人脸图像，希望把它恢复成高清人脸，然后辨认这个人脸是否是某个人，应该怎么做？举个例子，某个小区发生了一起盗窃案，我们只是从监控录像中截取到一个非常模糊的人脸，能够用StyleGAN的方法像公安刑侦的“嫌疑人画像”一样，快速地重建高清人脸吗？或者，我们找到一张20年前的一张照片，只从上面提取到一个非常小的人脸，能够有办法把它复原成一张高清大图吗？下面介绍两个 github.com 上的开源项目，一个用于重建人脸（PULSE），一个用于调整参数（ALAE）。（一）

StyleGAN2显著地提高了生成图像的质量，作为其中一个应用，利用StyleGAN2找到真实图像的最优潜码并重建图像，是一个有意思的话题。到目前为止，我们收集到了四种重建真实图像的方法，分别是：（1）StyleGAN2 官网自带的 run_projector.py，参见：轻轻松松使用StyleGAN2（二）：使用run_projector.py将真实人脸投射到StyleGAN2 dlatents空间并重建图像（2）rolux基于 run_projector.py 改进的 project_ima

StyleGAN2具有非常强的学习能力，除了可以用来生成人脸之外，官网还提供了其他一些模型，包括：小汽车、教堂、猫和马，已经训练好的模型可以到官网上下载，官网地址是：https://github.com/NVlabs/stylegan2也可以到百度网盘上下载，具体链接是：（1）1024x1024人脸模型：https://pan.baidu.com/s/1_cRyamHP_Amj0srCbiB5_g提取码:cnby（2）512x384小汽车模型：https://pan.baidu.co

我们在前两篇篇文章里分别学习了StyleGAN2是怎样消除液滴伪影，又是怎样利用PPL来提升图像质量的，内容请参考：StyleGAN2探骊得珠（二）：论文解读与注释，一代中的ARTIFACT是怎样产生的，二代网络中又是怎样消除它们的？StyleGAN2探骊得珠（三）：论文解读与注释，二代是怎样利用PPL来提升图像质量的？本篇文章将进一步学习StyleGAN2为什么放弃了渐进式生长（Pr...

论文引言（Introduction）部分的第4段，作者开宗明义，对于用生成（对抗网络）方法产生的图像，图像质量的定量分析依然是一个具有挑战性的主题。Fréchet Inception Distance（FID）测量的是（被分析图像在）两个分布密度上的差异，而这两个分布是在Inception V3分类器的高维特征空间上进行计算而得到的。精确度和召回率（P&R）通过显式地量化指标提供了...