- 博客(17)
- 收藏
- 关注
RSS订阅原创 学习笔记：CLIPstyler: Image Style Transfer with a Single Text Condition 具有单一文本条件的图像风格迁移
现有的神经风格迁移方法需要参考风格图像将风格图像的纹理信息迁移到内容图像。然而，在许多实际情况下，用户可能没有参考的风格图像，但仍然有兴趣通过想象来传递风格。为了处理此类应用需求，本文提出了一个新框架，该框架可以在“没有”风格图像，只有所需风格的文本描述的情况下实现风格迁移。使用预训练文本-图像嵌入模型 CLIP，本文演示了仅在单个文本条件下对内容图像风格的调制。具体来说，本文提出了一种具有多视图增强的patch文本-图像匹配损失，以实现逼真的纹理传输。
2022-11-27 18:24:11
3828
1
原创 深度学习中的过拟合、欠拟合问题（原因及解决方法）
机器学习的基本问题是利用模型对数据进行拟合，学习的目的并非是对有限训练集进行正确预测，而是对未曾在训练集合出现的样本能够正确预测。模型对训练集数据的误差称为经验误差，对测试集数据的误差称为泛化误差。模型对训练集以外样本的预测能力就称为模型的泛化能力，追求这种泛化能力始终是机器学习的目标。过拟合和欠拟合是导致模型泛化能力不高的两种常见原因，都是模型学习能力与数据复杂度之间失配的结果。
2022-10-28 23:42:18
7453
原创 CNN网络中的感受野计算
在CNN网络中，一张图经过核为3 x 3，步长为2的卷积层，ReLU激活函数层，BN层，以及一个步长为2，核为2 x 2的池化层后，再经过一个3 x 3的的卷积层，步长为1，此时的感受野是？
2022-10-27 23:22:25
1588
原创 卷积神经网络CNN中参数的总数目计算
由三个卷积层组成的CNN：kernel=3 × 3，stride=2，padding=SAME。 最低层输出10个特征映射（feature map），中间层20个特征映射，最高层30个特征映射。输入是200 × 300的RGB图片。那么CNN中参数的总数目是多少？
2022-10-27 22:08:33
3304
原创 学习笔记：StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators 图像生成器的CLIP引导领域适应
本文提出了StyleGAN-NADA，一种基于视觉-语言预训练模型（CLIP）引导的图像生成器非对抗领域适应的零样本方法。通过使用CLIP来指导生成器的训练，将生成模型的领域迁移到一个新的领域，只使用文本提示，生成的图像能够产生风格和形状的巨大变化，远远超越原始生成器的领域。
2022-10-09 22:01:14
2484
原创 学习笔记：Two-Stage Peer-Regularized Feature Recombination for Arbitrary Image Style Transfer
本文介绍了一种神经风格迁移模型，通过一组描述所需风格的示例来生成风格化图像。提出的解决方案即使在零样本设置下也能产生高质量的图像，并允许在内容几何上有更多的自由变化。这是通过引入一个新的两阶段对等正则化层实现的，该层通过一个自定义的图形卷积层在潜在空间中重新组合风格和内容。与绝大多数现有解决方案相反，本文的模型不依赖于任何预先训练的网络来计算感知损失，并且由于一组新的循环损失直接在潜在空间中操作，而不是在RGB图像上，因此可以完全端到端地进行训练。
2022-10-09 15:20:53
1131
原创 学习笔记：Diversified Arbitrary Style Transfer via Deep Feature Perturbation 基于深度特征扰动的多样化任意风格迁移
本文提出了一种简单而有效的方法来实现多样化的任意风格迁移。该方法的核心思想是一种叫做深度特征扰动（DFP）的操作，它在保持原始风格信息不变的情况下，使用一个正交的随机噪声矩阵来扰动图像的深度特征映射。我们的DFP操作可以很容易地集成到许多现有的基于WCT（白化和着色变换）的方法中，并使它们能够为任意风格生成不同的结果。实验结果表明，该方法在保持风格化质量的同时，大大增加了风格化的多样性。
2022-10-08 22:33:30
1116
原创 学习笔记：High-Fidelity GAN Inversion for Image Attribute Editing 用于图像属性编辑的高保真生成对抗网络反演
本文提出了一种新的高保真生成对抗网络（GAN）反演框架，该框架能够在保持良好的图像特定细节的情况下进行属性编辑。为了在不影响可编辑性的前提下提高图像的保真度，我们提出了一种失真协商方法，该方法采用失真图作为高保真重建的参考。在失真协商反演（DCI）中，首先将失真图投影成一个高比率潜图上，然后通过协商融合为基本的低比率潜码补充更多的细节。为了实现高保真的编辑，我们提出了一个自适应失真对齐（ADA）模块，该模块带具有自监督训练方案，弥补了编辑图像和反演图像之间的差距。实验表明，反演和编辑质量都有明显提高。
2022-10-05 23:30:42
2767
2
原创 学习笔记：Towards Counterfactual Image Manipulation via CLIP 基于CLIP的反事实图像处理研究
本文提出了一种新颖的文本引导图像处理框架CF-CLIP，可以在给定目标文本描述的情况下实现准确和高保真的反事实编辑；为了全面探索CLIP针对反事实概念的丰富语义信息，本文设计了一个对比损失CLIP-NCE，以基于预定义的CLIP空间方向从不同角度指导编辑；另外，作者还设计了一个简单而有效的文本嵌入映射模块（TEM），它允许在潜码优化期间显式利用CLIP嵌入，以促进准确的编辑。
2022-10-04 22:44:05
915
原创 学习笔记：SemanticStyleGAN 面向可控图像合成和编辑的组合生成先验学习
最近的研究表明，StyleGANs为图像合成和编辑的下游任务提供了有前途的先验模型。然而，由于StyleGANs的潜在代码设计用于控制全局样式，因此很难实现对合成图像的细粒度控制。我们提出了SemanticStyleGAN，它训练生成器分别对局部语义部分进行建模，并以组合的方式合成图像。不同局部部分的结构和纹理由相应的潜码控制。实验结果表明，我们的模型在不同的空间区域之间提供了较强的解纠缠性。当与为StyleGANs设计的编辑方法相结合时，它可以实现更细粒度的控制来编辑合成的或真实的图像。
2022-10-03 15:30:41
2918
原创 CUDA + cuDNN + tensorflow-gpu 安装
CUDA 9.0 + cuDNN 7.0 + tensorflow-gpu 1.11.0 安装教程
2022-09-30 20:54:08
2900
原创 学习笔记：HyperInverter: Improving StyleGAN Inversion via Hypernetwork 通过超网络改进StyleGAN逆映射
[CVPR-2022] HyperInverter: Improving StyleGAN Inversion via Hypernetwork 通过超网络改进StyleGAN逆映射摘要1. 概述1.1 背景1.2 现有方法2. 方法2.1 阶段Ⅰ：从图像到内容代码2.2 阶段Ⅱ：融合外观代码通过超网络改进生成器3. 实验3.1 重建结果3.2 编辑结果3.3 用户调查3.4 消融实验4. 总结项目网址：https://di-mi-ta.github.io/HyperInverter论文链接：ht
2022-05-24 15:24:54
1836
原创 学习笔记：Controllable Artistic Text Style Transfer via Shape-Matching GAN 基于形状匹配生成对抗网络的可控艺术文本风格迁移
[ICCV-2019] Controllable Artistic Text Style Transfer via Shape-Matching GAN 基于形状匹配生成对抗网络的可控艺术文本风格迁移1. 概述1.1 背景1.2 目标1.3 挑战2. 方法2.1 反向结构迁移2.2 正向风格迁移3. 实验3.1 对比实验3.1.1 艺术文本风格迁移3.1.2 尺度可控的风格迁移3.2 消融实验4. 应用5. 总结论文链接：https://arxiv.org/abs/1905.01354v1代码链接
2022-05-07 14:10:28
1339
原创 CLIP学习笔记：Learning Transferable Visual Models From Natural Language Supervision
CLIP：Learning Transferable Visual Models From Natural Language Supervision 利用自然语言监督学习可迁移的视觉模型摘要1. 介绍2. 方法2.1 自然语言监督2.2 创建足够大的数据集2.3 选择有效的预训练方法2.4 选择和缩放模型2.5 训练3. 实验3.1 零样本迁移3.2 表示学习3.3 对自然分布迁移的鲁棒性总结
2022-04-25 00:18:07
3608
原创 学习笔记：One-Shot Adaptation of GAN in Just One CLIP 基于CLIP的GAN单样本自适应
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档One-Shot Adaptation of GAN in Just One CLIP：基于CLIP的GAN单样本自适应1. 背景2. 方法2.1 CLIP引导的潜在优化2.2 生成模型微调2.3 整体训练3. 实验3.1 与baseline模型比较3.2 潜在空间编辑3.3 消融实验4. 总结
2022-04-10 21:24:07
3748
原创 CVPR-Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer
[CVPR-2021] Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer 基于拉普拉斯金字塔网络的快速高质量艺术风格迁移方法摘要1. 介绍2. 相关工作3. 方法3.1 网络结构3.2 Drafting Network3.3 Revision Network3.4 训练4. 实验结果4.1 数据集和设置4.2 对比实验4.3 消融实验5. 总结摘要艺术风格迁移旨
2021-10-27 23:17:37
1657
原创 论文翻译：Open Set Domain Adaptation 开放集域适应
论文翻译：Open Set Domain Adaptation 开放集域适应摘要1. 介绍2. 相关工作3. 开放集域适应3.1 无监督域适应3.2 半监督域适应3.3 映射4. 实验4.1 参数配置4.2 Office数据集4.3 密集跨数据集分析4.4 稀疏跨数据集分析5. 结论摘要当训练和测试数据属于不同的域时，对象分类器的准确性将大大降低。因此，最近几年提出了几种算法，以减少数据集之间的所谓域转移。但是，所有适用于域适应的评估协议都描述了一个封闭集识别任务，其中两个域（即源域和目标域）都包含完全
2021-04-12 17:51:38
1916
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人