论文翻译
文章平均质量分 94
学习笔记
玳宸
这个作者很懒,什么都没留下…
展开
-
【翻译】Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning
在这项工作中,我们使用一种新的风格特征表示学习方法来解决任意图像风格转移的挑战性问题。作为图像风格化任务中的一个关键组成部分,合适的风格表示对于取得令人满意的结果至关重要。现有的基于深度神经网络的方法在二阶统计的指导下取得了合理的结果,如内容特征的格拉姆矩阵。然而,他们没有利用足够的风格信息,这导致了局部失真和风格不一致等人为因素。为了解决这些问题,我们建议通过分析多种风格之间的相似性和差异性并考虑风格分布,直接从图像特征中学习风格表示,而不是其二阶统计。具体来说,我们提出了对比性任意风格转移(CAST),原创 2022-12-05 10:48:12 · 773 阅读 · 0 评论 -
【翻译】Diversified Arbitrary Style Transfer via Deep Feature Perturbation
图像风格转换是一个不确定的问题,大量的解决方案可以满足相同的条件(内容和风格)。尽管已经有一些努力通过引入另一种多样性损失来改善风格转移的多样性,但它们的概括性受到限制,多样性有限,可扩展性差。在本文中,我们解决了这些限制,并提出了一种简单而有效的多样化任意风格转移的方法。我们的方法的关键思想是一种叫做深层特征扰动(deep feature perturbation,DFP)的操作,它使用正交随机噪声矩阵来扰动深层图像特征图,同时保持原始风格信息不变。原创 2022-09-16 19:08:14 · 1114 阅读 · 0 评论 -
【翻译】Fast Patch-based Style Transfer of Arbitrary Style
艺术风格转移是一个图像合成问题,即用另一个图像的风格来再现图像的内容。最近的工作表明,通过使用预先训练的卷积神经网络的隐藏激活,可以实现视觉上吸引人的风格转移。然而,现有的方法要么应用(i)一个对任何风格的图像都有效但非常昂贵的优化程序,要么(ii)一个有效的前馈网络,只允许有限数量的训练风格。在这项工作中,我们提出了一个更简单的基于局部匹配的操作目标,将内容结构和风格纹理结合在预训练网络的单一层中。原创 2022-09-02 21:18:40 · 1278 阅读 · 0 评论 -
【翻译】Adaptive Convolutions for Structure-Aware Style Transfer
图像之间的风格转移是CNN的一种艺术应用,即把一个图像的 "风格 "转移到另一个图像上,同时保留了后者的内容。神经风格转移的技术现状是基于自适应实例归一化(AdaIN),该技术将风格特征的统计属性转移到内容图像上,并能实时转移大量的风格。然而,AdaIN是一个全局性的操作,因此在传输过程中,风格图像中的局部几何结构往往被忽略。我们提出了自适应卷积法(AdaConv),这是AdaIN的一个通用扩展,允许实时地同时转移统计和结构风格。原创 2022-09-02 15:04:37 · 1473 阅读 · 0 评论 -
【翻译】Universal Style Transfer via Feature Transforms
通用风格转移的目的是将任意的视觉风格转移到内容图像上。现有的基于前馈的方法,虽然享有推理的效率,但主要受限于无法推广到未见过的风格或视觉质量受到影响。在本文中,我们提出了一种简单而有效的方法来解决这些限制,而不需要对任何预先定义的风格进行训练。我们的方法的关键成分是一对特征变换,白化和着色,它们被嵌入到一个图像重建网络中。白化和着色变换反映了内容图像的特征协方差与给定风格图像的直接匹配,这与神经风格转换中基于格拉姆矩阵的成本优化有类似的精神。原创 2022-09-01 21:18:21 · 1241 阅读 · 0 评论 -
【翻译】Style-Aware Normalized Loss for Improving Arbitrary Style Transfer
神经风格转换(NST)已经从单一风格迅速发展到无限风格模型,也被称为任意风格转换(AST)。尽管吸引人的结果在文献中被广泛报道,但我们对四种著名的AST方法(GoogleMagenta[14]、AdaIN[19]、LinearTransfer[29]和SANet[37])的实证研究表明,超过50%的时间,AST风格化的图像不能被人类用户接受,通常是因为风格化不足或过度。我们系统地研究了这种不平衡的风格转移性(IST)的原因,并提出了一个简单而有效的解决方案来缓解这个问题。...原创 2022-08-31 23:44:43 · 413 阅读 · 0 评论 -
【翻译】A Closed-form Solution to Universal Style Transfer
通用风格转换试图明确地将特征空间的损失降到最低,因此它不需要对任何预先定义的风格进行训练。它通常使用不同层的VGG网络作为编码器,并训练几个解码器来将特征转换为图像。因此,风格转移的效果是通过特征转换实现的。尽管已经有很多方法被提出,但仍然缺少对特征转换的理论分析。在本文中,我们首先提出了一个新的解释,将其视为最优传输问题。然后,我们证明了我们的表述与以前的工作如自适应姿态归一化(AdaIN)和白化和着色变换(WCT)的关系。...原创 2022-08-31 20:56:00 · 483 阅读 · 0 评论 -
【翻译】In the light of feature distributions: moment matching for Neural Style Transfer
风格转换的目的是以另一图像的图形/艺术风格来呈现一个给定图像的内容。神经风格转换(NST)的基本概念是将风格解释为卷积神经网络特征空间中的分布,这样就可以通过匹配其特征分布实现所需的风格。我们表明,目前该概念的大多数实现都有重要的理论和实践限制,因为它们只是部分地对齐特征分布。我们提出了一种新的方法,可以更精确地匹配分布,从而更忠实地再现所需的风格,同时仍然具有计算效率。具体来说,我们采用了最近为领域适应(domain adaptation)提出的。......原创 2022-08-30 23:46:20 · 557 阅读 · 0 评论 -
【翻译】Exact Feature Distribution Matching for Arbitrary Style Transfer and Domain Generalization
任意风格转移(Arbitrary style transfer,AST)和领域泛化(domain generalization,DG)是重要而具有挑战性的视觉学习任务,可以被看作是一个特征分布匹配问题。在高斯特征分布的假设下,传统的特征分布匹配方法通常与特征的平均值和标准差相匹配。然而,现实世界数据的特征分布通常比高斯分布复杂得多,仅使用一阶和二阶统计量是无法准确匹配的,而使用高阶统计量进行分布匹配在计算上是很困难的。在这项工作中,我们首次提出通过精确匹配图像特征的经验累积分布函数CDFs。...原创 2022-08-25 22:42:50 · 1193 阅读 · 0 评论 -
【翻译】Style Transfer by Relaxed Optimal Transport and Self-Similarity
风格转移算法的目标是使用另一个图像的风格来渲染一个图像的内容。我们提出了 “宽松的最优传输和自相似性”(STROTSS)的风格转移,这是一种新的基于优化的风格转移算法。我们扩展了我们的方法,允许用户指定点对点或区域对区域控制风格图像和输出之间的相似度。这种指导可以用来实现特定的视觉效果或纠正无约束的风格转换所带来的错误。为了将我们的方法与之前的工作进行定量比较,我们进行了一项大规模的用户研究,旨在评估风格转换算法中不同设置的风格-内容权衡问题。原创 2022-08-23 19:45:33 · 979 阅读 · 0 评论 -
【翻译】Controlling Perceptual Factors in Neural Style Transfer
基于实例的风格转换是一种从现有图像中创造新的、具有感知吸引力的图像的主要方式。它将两幅图像xS和xC作为输入,并将xS的风格应用于xC的内容,产生一个新的图像ˆx。"风格" 和 "内容 " 的概念都是用图像统计学来表达的;例如,如果两幅图像体现了相同的特定图像特征的相关性,就可以说它们具有相同的风格。为了对这一过程提供直观的控制,人们必须确定在这些统计数据中获取感知因素的方法。为了确定这些因素,我们观察一下人们描述一件艺术品的不同方式,比如文森特-凡高的《有柏树的麦田》(图2(c))。首先。原创 2022-08-21 19:45:39 · 668 阅读 · 0 评论 -
【翻译】Texture Synthesis Using Convolutional Neural Networks
在这里,我们介绍了一个基于卷积神经网络特征空间的自然纹理的新模型,该模型为物体识别而优化。该模型的样本具有很高的感知质量,显示了以纯粹的辨别方式训练的神经网络的生成能力。在该模型中,纹理是由网络中几层特征图之间的相关性来表示的。我们表明,各层的纹理表示越来越多地捕捉到自然图像的统计特性,同时使物体信息越来越明确。该模型提供了一个新的工具来产生神经科学的刺激,并可能提供对卷积神经网络学习的深层表征的见解。视觉纹理合成的目标是从一个实例纹理中推断出一个生成过程,然后可以产生任意多的该纹理的新样本。...原创 2022-08-18 17:11:22 · 885 阅读 · 0 评论 -
【翻译】AdaIN:Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization
Gatys等人最近引入了一种神经算法,以另一图像的风格渲染内容图像,实现所谓的风格转移。然而,他们的框架工作需要一个缓慢的迭代优化过程,这限制了其实际应用。有人提出用前馈神经网络进行快速逼近,以加快神经风格转移的速度。不幸的是,速度的提高是有代价的:网络通常被绑在一套固定的风格上,不能适应任意的新风格。在本文中,我们提出了一个简单而有效的方法,首次实现了实时的任意风格转移。我们的方法的核心是一个新颖的自适应实例规范化(AdaIN)层,它将内容特征的平均值和方差与风格特征的平均值和方差相一致。......原创 2022-08-16 22:26:15 · 517 阅读 · 0 评论 -
【翻译】Neural 3D Mesh Renderer
对于二维图像背后的三维世界的建模,哪种三维表示法最合适?多边形网格因其紧凑性和几何特性而成为一个有希望的候选者。然而,使用神经网络从二维图像建立多边形网格模型并不简单,因为从网格到图像的转换,或者说转折,涉及到一个被称为栅格化的离散操作,这阻碍了反向传播的进行。因此,在这项工作中,我们提出了一个光栅化的近似梯度,使渲染与神经网络相结合。使用这种渲染器,我们在剪影图像的监督下进行单图像三维网格的重新构建,我们的系统优于现有的基于体素的方法。......原创 2022-08-16 21:22:33 · 1435 阅读 · 0 评论 -
【翻译】Image Style Transfer Using Convolutional Neural Networks
以不同的风格渲染图像的语义内容是一项困难的图像处理任务。可以说,以前的方法的一个主要限制因素是缺乏明确表示语义形成的图像表示,因此,允许将图像内容与风格分开。在这里,我们使用了从卷积神经网络派生出来的图像表示,该网络针对对象识别进行了优化,使高水平的图像信息变得明确。我们介绍了一种艺术风格的神经算法,它可以分离和重新组合自然图像的内容和风格。该算法使我们能够产生具有高感知质量的新图像,将艺术照片的内容与众多知名艺术品的外观相结合。......原创 2022-08-15 23:54:15 · 1210 阅读 · 0 评论 -
【翻译】Style Transfer by Rigid Alignment in Neural Net Feature Space
任意风格转移是计算机视觉中的一个重要问题,其目的是将风格模式从任意风格图像转移到给定的内容图像。然而,目前的方法要么依赖于缓慢的迭代优化,要么依赖于快速的预设特征转换,但代价是损害了风格图像的视觉质量;尤其是扭曲的内容结构。在这项工作中,我们提出了一种有效和高效的任意风格转换方法,它可以无缝转移风格模式,并在风格化图像中保持内容结构的完整。我们通过使用刚性对齐方式将风格特征与内容特征对齐来实现这一点;从而修改了风格特征,而不像现有的方法那样做相反的事情。......原创 2022-08-15 15:29:33 · 369 阅读 · 0 评论 -
【翻译】Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer
艺术风格转移的目的是将风格从示例图像迁移到内容图像。目前,基于优化的方法已经取得了很好的风格化质量,但昂贵的时间成本限制了其实际应用。同时,前馈方法仍然无法合成复杂的风格,特别是当存在整体的全局和局部模式时。受常见的绘画过程–绘制草稿和修改细节–的启发,我们引入了一种新的前馈方法,名为Laplacian Pyramid Network(LapStyle)。LapStyle首先通过绘图网络传输低分辨率的全局风格模式。.........原创 2022-08-10 21:14:58 · 700 阅读 · 0 评论 -
【翻译】Paparazzi: Surface Editing by way of Multi-View Image Processing
图像处理管道拥有各种各样的复杂的过滤器和效果。将一个单独的效果转化为对三维表面几何的操作,不可避免地会产生一个定制的算法。相反,我们提出了一个通用的后端优化,允许用户通过简单地选择一个现成的图像处理过滤器来编辑一个输入的三维表面。我们通过构建一个可微分的三角形网格渲染器来实现这一点,通过该渲染器,我们可以将图像域中的变化反向传播到三维网格顶点位置。给定的图像处理技术通过形状的随机快照应用于整个形状:因此,我们称我们的方法为Paparazzi。............原创 2022-08-04 22:16:53 · 588 阅读 · 0 评论