![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 84
AIGC Studio
计算机专业研究生,人工智能领域优质创者者,研究计算机视觉、深度学习、图像生成、GAN、VAE、Stable Diffusion、Sora、AIGC视觉大模型等,有三维重建、VTK开发、点云处理和医学图像处理等开发经验。曾在滴滴,小米任职算法工程师。
展开
-
StyleGAN和Diffusion结合能擦出什么火花?PreciseControl:实现文本到图像生成中的精确属性控制!
最近,我们看到大量个性化方法用于文本到图像 (T2I) 扩散模型,这些模型使用少量图像来学习概念。现有方法在用于人脸个性化时,难以在保留身份的情况下实现令人信服的反转,并且依赖于对生成的脸部进行基于语义文本的编辑。但是,面部属性编辑需要更细粒度的控制,而仅使用文本提示很难实现这一点。相比之下,StyleGAN 模型可以学习丰富的面部先验知识,并通过潜在操作实现对细粒度属性编辑的平滑控制。这项工作使用 StyleGAN 解开的W +空间来调节 T2I 模型。原创 2024-09-02 23:39:09 · 1044 阅读 · 0 评论 -
实时图像编辑大革新!Adobe发布TurboEdit:可以通过文本来编辑图像,编辑时间<0.5秒!
我们在几步扩散模型的背景下解决了精确图像反转和分离图像编辑的挑战。我们引入了一种基于编码器的迭代反演技术。反演网络以输入图像和上一步的重建图像为条件,允许对输入图像进行下一次重建校正。我们证明,通过以(自动生成的)详细文本提示为条件,可以在几步扩散模型中轻松实现分离控制。为了操纵反转图像,我们冻结噪声图并修改文本提示中的一个属性(手动或通过 LLM 驱动的基于指令的编辑),从而生成与输入图像相似的新图像,但只有一个属性发生变化。它可以进一步控制编辑强度并接受指导性文本提示。原创 2024-08-30 21:09:47 · 1805 阅读 · 0 评论 -
MeshAnything V2来了!30秒生成建模师级Mesh!最大可生成面数提升至1600.
我们推出了 MeshAnything V2,这是一种自回归转换器,可生成与给定形状对齐的艺术家创建的网格 (AM)。它可以与各种 3D 资产生产流程集成,以实现高质量、高度可控的 AM 生成。使用相同大小的模型,MeshAnything V2 在效率和性能方面都超越了以前的方法。这些改进归功于我们新提出的网格标记化方法:相邻网格标记化 (AMT)。与之前用三个顶点表示每个面的方法不同,AMT 尽可能使用单个顶点。与之前的方法相比,AMT 平均需要大约一半的标记序列长度来表示相同的网格。原创 2024-08-30 21:08:31 · 1059 阅读 · 0 评论 -
腾讯&浙大提出定制化视频生成框架CustomCrafter,只需通过少量图像就可以完成高质量视频生成!
定制视频生成旨在通过文本提示和主体参考图像生成高质量的视频。然而,由于它只在静态图像上进行训练,主体学习的微调过程会破坏视频扩散模型 (VDM) 组合概念和生成运动的能力。为了恢复这些能力,一些方法使用类似于提示的额外视频来微调或引导模型。这需要在生成不同运动时频繁更改引导视频甚至重新调整模型,这对用户来说非常不方便。在本文中,我们提出了 CustomCrafter,这是一个新颖的框架,它保留了模型的运动生成和概念组合能力,而无需额外的视频和微调来恢复。原创 2024-08-29 08:39:50 · 965 阅读 · 0 评论 -
字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片! 文章附模型下载链接
最近,出现了一系列考虑扩散的蒸馏算法,以减轻与扩散模型 (DM) 的多步推理过程相关的计算开销。当前的蒸馏技术通常分为两个不同的方面:i)ODE 轨迹保存;ii)ODE 轨迹重构。然而,这些方法存在严重的性能下降或领域转移。为了解决这些限制,我们提出了Hyper-SD,这是一个新颖的框架,它协同融合了 ODE 轨迹保存和重构的优点,同时在步骤压缩期间保持近乎无损的性能。首先,我们引入轨迹分段一致性蒸馏,以在预定义的时间步长段内逐步执行一致性蒸馏,这有助于从高阶角度保留原始 ODE 轨迹。原创 2024-08-29 08:37:42 · 876 阅读 · 0 评论 -
中山大学和联想研究院提出文本到服装生成模型GarmentAligner,解决服装生成中语义对齐、数量、位置和相互关系等问题。
通用的文本转图像模型为艺术、设计和媒体领域带来了革命性的创新。然而,当应用于服装生成时,即使是最先进的文本转图像模型也存在细粒度语义错位,特别是在服装组件的数量、位置和相互关系方面。为了解决这个问题,我们提出了 GarmentAligner,这是一个使用检索增强多级校正训练的文本转服装扩散模型。为了在组件级别实现语义对齐,我们引入了一个自动组件提取管道,以从相应的图像和标题中获取服装组件的空间和定量信息。原创 2024-08-27 21:42:39 · 1023 阅读 · 0 评论 -
腾讯提出一种新的针对风格化角色和逼真服装动画的生成3D运动转移方法,生成效果逼真!
为风格化角色制作动画以匹配参考动作序列是电影和游戏行业中一项要求很高的任务。现有方法主要关注角色身体的刚性变形,而忽略了由物理动力学驱动的服装局部变形。它们以与身体相同的方式变形服装,导致结果细节有限且不切实际,例如身体与服装的穿透。相比之下,我们提出了一种新颖的方法,旨在通过逼真的服装动画实现高质量的运动传输。由于现有数据集缺乏生成逼真服装动画所需的注释,我们构建了一个名为 MMDMC 的新数据集,它将来自 MikuMikuDance 社区的风格化角色与现实世界的动作捕捉数据相结合。原创 2024-08-26 23:12:55 · 1251 阅读 · 0 评论 -
腾讯&浙大提出定制化视频生成框架CustomCrafter,只需通过少量图像就可以完成高质量视频生成!
定制视频生成旨在通过文本提示和主体参考图像生成高质量的视频。然而,由于它只在静态图像上进行训练,主体学习的微调过程会破坏视频扩散模型 (VDM) 组合概念和生成运动的能力。为了恢复这些能力,一些方法使用类似于提示的额外视频来微调或引导模型。这需要在生成不同运动时频繁更改引导视频甚至重新调整模型,这对用户来说非常不方便。在本文中,我们提出了 CustomCrafter,这是一个新颖的框架,它保留了模型的运动生成和概念组合能力,而无需额外的视频和微调来恢复。原创 2024-08-26 23:10:34 · 1020 阅读 · 0 评论 -
ECCV2024|港中文提出文本生成3D方法DreamDissector,能够生成具有交互的多个独立对象。
文本到 3D 生成最近取得了重大进展。为了增强其在实际应用中的实用性,生成具有交互的多个独立对象至关重要,类似于 2D 图像编辑中的层合成。然而,现有的文本到 3D 方法难以完成这项任务,因为它们旨在生成非独立对象或缺乏空间上合理交互的独立对象。为了解决这个问题,我们提出了 DreamDissector,这是一种能够生成具有交互的多个独立对象的文本到 3D 方法。DreamDissector 接受多对象文本到 3D NeRF 作为输入并生成独立的纹理网格。原创 2024-08-22 23:47:38 · 564 阅读 · 0 评论 -
ECCV 2024|视觉数据挖掘领域重大突破!伯克利提出使用扩散模型作为数据挖掘工具!
本文展示了如何使用经过图像合成训练的生成模型作为视觉数据挖掘的工具。我们的见解是,由于当代生成模型学习了训练数据的准确表示,我们可以使用它们通过挖掘视觉模式来总结数据。具体来说,我们表明,在微调条件扩散模型以合成特定数据集中的图像后,我们可以使用这些模型来定义该数据集的典型性度量。该度量评估不同数据标签(例如地理位置、时间戳、语义标签,甚至疾病的存在)的典型视觉元素。这种通过综合分析的数据挖掘方法有两个关键优势。首先,它比传统的基于对应的方法扩展性好得多,因为它不需要明确比较所有视觉元素对。原创 2024-08-22 23:45:58 · 436 阅读 · 0 评论 -
复旦提出新图像上色方法MultiColor,一键将黑白图还原上色,效果逼真!
深度网络在图像恢复任务(例如图像着色)中表现出色。然而,我们发现,以前的方法在着色流程中依赖于具有特定映射函数(即颜色空间)的单一颜色模型的数字表示。在本文中,我们首先研究不同颜色空间的建模,发现每个颜色空间都表现出独特的特征和独特的颜色分布。多个颜色空间之间的互补性为图像着色任务带来了好处。我们提出了一种新的基于学习的自动为灰度图像着色的方法 MultiColor,它结合了来自多个颜色空间的线索。具体来说,我们为单个颜色空间采用了一组专用的着色模块。原创 2024-08-22 23:44:03 · 492 阅读 · 0 评论 -
虚拟试衣新SOTA!阿里提出Boow-VTON,解决野外试穿任务难题。
基于图像的虚拟试穿是一项越来越流行和重要的任务,用于生成特定人物的逼真的试穿图像。现有的方法总是使用精确的蒙版去除源图像中的原始服装,从而基于强大的扩散模型在简单和传统的试穿场景中实现逼真的合成图像。因此,获取合适的蒙版对于这些方法的试穿性能至关重要。然而,获得精确的修复蒙版,特别是对于包含各种前景遮挡和人物姿势的复杂野外试穿数据,并不容易,如图 1-Top 所示。这种困难通常会导致在更实际和更具挑战性的现实场景中表现不佳,例如图 1-Bottom 所示的自拍场景。原创 2024-08-22 23:41:57 · 740 阅读 · 0 评论 -
设计师AI神器!AnyDesign,一张照片加简单描述就可以编辑时尚图像!
时尚图像编辑旨在根据给定的指令修改人物的外观。现有的方法需要辅助工具,如分割器和关键点提取器,缺乏灵活统一的框架。此外,这些方法处理的服装类型有限,因为大多数数据集都集中在干净背景中的人,只包括上衣、裤子和连衣裙等普通服装。这些限制限制了它们在现实场景中的适用性。在本文中,我们首先扩展了现有的人类生成数据集,以包括更广泛的服装和更复杂的背景。这个扩展的数据集包含穿着各种物品的人,如上衣、裤子、连衣裙、裙子、头饰、围巾、鞋子、袜子和包包。原创 2024-08-22 22:59:25 · 512 阅读 · 0 评论 -
超越IP-Adapter!阿里提出UniPortrait,可通过文本定制生成高保真的单人或多人图像。
本文介绍了一种创新的人体图像个性化框架 UniPortrait,它将单 ID 和多 ID 定制与高人脸保真度、广泛的人脸可编辑性、自由形式的输入描述和多样化的布局生成统一起来。UniPortrait 仅包含两个即插即用模块:ID 嵌入模块和 ID 路由模块。ID 嵌入模块使用解耦策略为每个 ID 提取多功能可编辑人脸特征,并将它们嵌入到扩散模型的上下文空间中。然后,ID 路由模块将这些嵌入自适应地组合和分布到合成图像中的各自区域,实现单 ID 和多 ID 的定制。原创 2024-08-19 20:18:52 · 795 阅读 · 0 评论 -
顶刊IJCV2024 | 北大、哈工大、清华联合提出无需GT的自监督图像重建网络学习方法。代码已开源!
视觉信息智能学习实验室(VILLA)由张健助理教授于2019年创立并负责,专注于AI计算成像与底层视觉、可控内容生成与安全、三维场景理解等研究领域,已在Nature系列子刊Communications Engineering、SPM、TPAMI、IJCV、TIP、NeurIPS、ICLR、CVPR、ICCV和ECCV等高水平国际期刊和会议上发表了50余篇论文。原创 2024-08-19 20:17:02 · 568 阅读 · 0 评论 -
超越AnimateAnyone!Meta提出全身 3D虚拟人技术ExAvatar,可通过简短视频克隆人像并转化为3D数字形象
ExAvatar 是全新富有表现力的全身 3D 高斯化身。结合了SMPL-X的全身(身体、手和脸)驾驶能力和3DGS的强大外观建模能力。通过随意拍摄的短手机扫描中性姿势约10秒制作而成。支持具有新颖的身体姿势、手势和面部表情的动画以及从任何视点的渲染。面部表情和手势对于表达我们的情感和与世界互动是必不可少的。尽管如此,从随意拍摄的视频中建模的大多数 3D 虚拟人仅支持没有面部表情的身体动作。原创 2024-08-18 22:35:59 · 1195 阅读 · 0 评论 -
轻量高效的ControlNet开源 | ControlNetXt:支持主流生成架构,可与LoRA无缝集成!
扩散模型在图像和视频生成方面都表现出了卓越而强大的能力。为了更好地控制生成结果,研究人员引入了额外的架构如ControlNet、Adapters和ReferenceNet,以集成条件控制。然而,当前的可控生成方法通常需要大量额外的计算资源,尤其是对于视频生成,并且在训练中面临挑战或表现出较弱的控制力。在本文中,我们提出了 ControlNeXt:一种强大而有效的可控图像和视频生成方法。我们首先设计了一个更直接、更高效的架构,与基础模型相比,以最小的额外成本替换了繁重的额外分支。原创 2024-08-18 22:34:01 · 870 阅读 · 0 评论 -
Stability AI发布了单目视频转4D模型的新AI模型:Stable Video 4D
title:Stability AI发布了单目视频转4D模型的新AI模型:Stable Video 4D开放生成式人工智能初创公司Stability AI在3月发布了Stable Video 3D,是一款可以根据图像中的物体生成出可旋转的3D模型视频工具。Stability AI在7月24日发布了新一代的Stable Video 4D,增添了赋予3D模移动作的功能。Stable Video 4D能在约40秒内生成8个视角的5帧视频,整个4D优化过程大约需要20到25分钟。原创 2024-08-18 22:32:34 · 1154 阅读 · 0 评论 -
ECCV2024|商汤发布3D面部动画系统UniTalker:通过统一模型扩展音频驱动的 3D 面部动画
音频驱动的 3D 面部动画旨在将输入音频映射到逼真的面部运动。尽管取得了重大进展,但由于 3D 注释不一致而产生了限制,将以前的模型限制在特定注释上进行训练,从而限制了训练规模。在这项工作中,我们提出了 UniTalker,这是一个统一的模型,具有多头架构,旨在有效利用具有不同注释的数据集。为了增强训练稳定性并确保多头输出之间的一致性,我们采用了三种训练策略,即 PCA、模型预热和枢轴身份嵌入。为了扩大训练规模和多样性,我们组装了 A2F-Bench,包括五个公开可用的数据集和三个新整理的数据集。原创 2024-08-18 22:31:28 · 683 阅读 · 0 评论 -
ACM MM 2024,复旦&腾讯优图等提出MDT-A2G,可根据说话语音同步生成手势
Diffusion Transformer领域的最新进展大大提高了高质量二维图像、三维视频和三维形状的生成。然而,Transformer 架构在同语音手势生成领域的有效性仍然相对未被探索,因为之前的方法主要采用卷积神经网络 (CNN) 或简单的几个变换器层。为了弥补这一研究空白,我们引入了一种用于同语音手势生成的新型掩蔽Diffusion Transformer,称为 MDT-A2G,它直接在手势序列上实现去噪过程。为了增强时间对齐的语音驱动手势的上下文推理能力,我们采用了一种新型的掩蔽扩散变换器。原创 2024-08-18 22:30:18 · 701 阅读 · 0 评论 -
3D生成效果新SOTA!北大&新加坡国立提出Cycle3D,可以创建高质量一致性的3D内容。
最近的 3D 大型重建模型通常采用两阶段过程:首先通过多视图扩散模型生成多视图图像,然后利用前馈模型将图像重建为 3D 内容。然而,多视图扩散模型通常会产生低质量和不一致的图像,从而对最终的 3D 重建质量产生不利影响。为了解决这个问题,我们提出了一个统一的 3D 生成框架 Cycle3D,该框架在多步扩散过程中循环使用基于 2D 扩散的生成模块和前馈 3D 重建模块。在去噪过程中,2D 扩散模型还可以控制未见视图的生成并注入参考视图信息,从而增强 3D 生成的多样性和纹理一致性。原创 2024-08-12 23:00:34 · 984 阅读 · 0 评论 -
ECCV 2024 | 3D数字人生成来了!南洋理工提出三维数字人生成新范式StructLDM:高质量可控并支持编辑。
近期,3D 人体生成模型通过从 2D 图像中学习 3D 感知 GAN 取得了显著进展。然而,现有的 3D 人体生成方法在紧凑的一维潜在空间中对人体进行建模,忽略了人体拓扑的清晰结构和语义。在本文中,我们探索了用于 3D 人体建模的更具表现力和更高维度的潜在空间,并提出了 StructLDM,这是一种基于扩散的无条件 3D 人体生成模型,该模型是从 2D 图像中学习的。StructLDM 通过三个关键设计解决了由于潜在空间高维增长而带来的挑战:在统计人体模板的稠密表面流形上定义的语义结构化潜在空间。原创 2024-08-12 22:59:00 · 461 阅读 · 0 评论 -
ECCV2024,清华&百度提出ReSyncer:可实现音频同步嘴唇动作视频生成。
使用给定的音频对口型视频是各种应用的基础,包括创建虚拟主持人或表演者。虽然最近的研究探索了使用不同技术的高保真口型同步,但它们的任务导向模型要么需要长期视频进行特定片段的训练,要么保留可见的伪影。在本文中,我们提出了一个统一有效的框架 ReSyncer,它可以同步广义的视听面部信息。关键设计是重新审视和重新连接基于风格的生成器,以有效采用由原则性风格注入的 Transformer 预测的 3D 面部动态。通过简单地重新配置噪声和风格空间内的信息插入机制,我们的框架将运动和外观与统一的训练融合在一起。原创 2024-08-07 23:09:58 · 1287 阅读 · 0 评论 -
从“抠图”到“抠视频”,Meta上新AI工具SAM 2。
Segment Anything Model 2 (SAM 2),这是Meta Segment Anything Model的下一代,现在支持视频和图像中的对象分割。SAM 2 是第一个用于实时、可提示的图像和视频对象分割的统一模型,它使视频分割体验发生了重大变化,并可在图像和视频应用程序中无缝使用。SAM 2 在图像分割精度方面超越了之前的功能,并且实现了比现有工作更好的视频分割性能,同时所需的交互时间减少了三倍。原创 2024-08-06 23:20:02 · 919 阅读 · 0 评论 -
最强开源文生图模型一夜易主!SD一作、Stabililty AI核心成员Robin Rombach下场创业了,一出手就是王炸。
时隔4个月,开源文生图模型霸主Stable Diffusion原班人马再创业!2024年8月1日官宣:Black Forest Labs成立,公司的第一个产品FLUX.1系列模型包含专业版、开发者版、快速版三种模型,效果直接秒杀Midjourney、DALL-E和Stable Diffusion!目前已获3200万美元融资。据官方消息,文生图只是一个开始,后续还将发布视频生成模型,准备和Sora和Gen-3等产品过招。原创 2024-08-05 22:48:23 · 715 阅读 · 0 评论 -
深度剖析Google黑科技RB-Modulation:告别繁琐训练,拥抱无限创意生成和风格迁移!
我们提出了基于参考的调制 (RB-Modulation),这是一种无需训练即可个性化扩散模型的即插即用型新解决方案。现有的无需训练的方法在以下方面存在困难:在没有额外风格或内容文本描述的情况下从参考图像中提取风格,从参考风格图像中泄漏不必要的内容有效地组合风格和内容。RB-Modulation 建立在一种新颖的随机最优控制器上,其中风格描述符通过终端成本对所需属性进行编码。由此产生的漂移不仅克服了上述困难,而且还确保了参考风格的高保真度并遵循给定的文本提示。原创 2024-07-31 23:14:19 · 924 阅读 · 0 评论 -
ECCV 2024前沿科技速递:GLARE-基于生成潜在特征的码本检索点亮低光世界,低光环境也能拍出明亮大片!
大多数现有的低光图像增强 (LLIE) 方法要么直接将低光 (LL) 映射到正常光 (NL) 图像,要么使用语义或照明图作为指导。然而,LLIE 的病态性质和从受损输入中进行语义检索的难度限制了这些方法,尤其是在极低光照条件下。为了解决这个问题,我们通过基于生成性潜在特征的码本检索 (GLARE) 提出了一种新的 LLIE 网络,其中使用矢量量化 (VQ) 策略从未退化的 NL 图像中得出码本先验。原创 2024-07-31 23:12:00 · 844 阅读 · 0 评论 -
中山大学与Pixocial联手提出CatVTON:轻量化架构与高效训练,助力虚拟试衣技术落地应用!
基于扩散模型的虚拟试戴方法 实现真实的试穿效果,但复制骨干 网络作为参考网或利用额外的图像编码器来处理条件输入,导致高训练和推理成本。在这项工作中,我们重新思考了ReferenceNet和图像编码器的必要性,并对其进行了创新 设计了一种简单高效的虚拟试戴扩散模型CatVTON。它可以方便地将任意类别的店内或穿过的服装无缝转移到目标人群 将它们在空间维度上连接起来作为输入。模型的有效性体现在三个方面:轻量级的网络。只有原来的扩散模块,不需要额外的网络模块。原创 2024-07-28 23:35:31 · 477 阅读 · 0 评论 -
超逼真AI生成电影来了!《泰坦尼克号》AI重生!浙大&阿里发布MovieDreamer,纯AI生成电影引爆热议!
视频生成领域的最新进展主要利用了短时内容的扩散模型。然而,这些方法往往无法对复杂的叙事进行建模,也无法在较长时间内保持角色的一致性,而这对于电影等长篇视频制作至关重要。我们提出了 MovieDreamer,这是一种新颖的分层框架,它将自回归模型的优势与基于扩散的渲染相结合,开创了具有复杂情节发展和高视觉保真度的长时视频生成。我们的方法利用自回归模型实现全局叙事连贯性,预测视觉标记序列,然后通过扩散渲染将其转换为高质量的视频帧。这种方法类似于传统的电影制作过程,将复杂的故事分解为可管理的场景捕捉。原创 2024-07-28 22:54:06 · 972 阅读 · 0 评论 -
一键解锁百变发型!上交联合Tiamat震撼发布Stable-Hair发型移植黑科技!
目前的头发移植方法难以处理多样而复杂的发型,因此限制了它们在现实场景中的适用性。在本文中,我们提出了一种基于扩散的新型头发移植框架Stable-Hair,它可以将各种现实世界的发型稳健地移植到用户提供的脸上,以供虚拟试穿。为了实现这一目标,我们的 Stable-Hair 框架设计为两阶段管道。在第一阶段,我们训练秃头转换器和稳定扩散,以从用户提供的脸部图像中去除头发,从而得到秃头图像。原创 2024-07-25 21:11:53 · 705 阅读 · 0 评论 -
[ECCV 2024] [复旦]RECE:扩散模型概念移除,只需3秒即可充分移除风险概念!
为了解决上述问题,研究团队提出了一种可靠、高效的概念移除方法(RECE)。该方法以解析解的形式,迭代地进行风险概念移除、风险概念嵌入推导,从而确保模型彻底移除风险概念。RECE借鉴了对抗训练的思想,通过计算目标函数的解析解,高效地推导出新的风险概念嵌入,然后通过修改交叉注意力层,将它们与无害概念对齐。此外,为了保留模型的生成能力,RECE在嵌入推导过程中证明并引入了一个额外的正则项,从而最小化对生成能力的损害。可靠高效的概念移除前置知识。原创 2024-07-24 21:55:28 · 457 阅读 · 0 评论 -
3D虚拟试穿来了,上大、腾讯等提出ClotheDreamer,数字人也能实现穿,脱衣自由!
从文本合成高保真 3D 服装对于数字化身创建来说既是理想的也是具有挑战性的。最近基于扩散的分数蒸馏采样 (SDS) 方法已经实现了新的可能性,但要么与人体错综复杂地耦合,要么难以重复使用。我们介绍了 ClotheDreamer,这是一种基于 3D 高斯的方法,用于从文本提示生成可穿戴、可用于生产的 3D 服装资产。我们提出了一种新颖的表示解缠结服装高斯溅射 (DCGS) 来实现单独优化。DCGS 将穿衣的化身表示为一个高斯模型,但冻结了身体高斯溅射。原创 2024-07-23 21:56:48 · 648 阅读 · 0 评论 -
腾讯开源SEED-Story:AI续写小说还能自动配图!
随着图像生成和开放格式文本生成的显著进步,交错图像文本内容的创建已成为一个越来越有趣的领域。多模态故事生成的特点是以交错的方式生成叙述性文本和生动的图像,已成为一项有价值且实用的任务,具有广泛的应用。然而,这项任务带来了重大挑战,因为它需要理解文本和图像之间复杂的相互作用,并能够生成长序列的连贯、上下文相关的文本和视觉效果。在这项工作中,我们提出了 SEED-Story,这是一种利用多模态大型语言模型 (MLLM) 生成扩展多模态故事的新方法。原创 2024-07-19 23:51:57 · 772 阅读 · 0 评论 -
家装设计师福音!HouseCrafter,一键将房子的平面图转成完整的3D室内场景!
HouseCrafter是一种新颖的方法,可以将平面图提升为完整的大型 3D 室内场景(例如房屋)。我们的主要见解是调整在网络规模图像上训练的 2D 扩散模型,以在场景的不同位置生成一致的多视图颜色 (RGB) 和深度 (D) 图像。具体来说,RGB-D 图像以分批方式自回归地沿着基于布局图的采样位置生成,其中先前生成的图像用作扩散模型的条件以在附近位置生成图像。扩散模型中的全局布局图和注意力设计确保了生成的图像的一致性,从中可以重建 3D 场景。原创 2024-07-19 23:48:51 · 286 阅读 · 0 评论 -
蚂蚁集团推出EchoMimic:能通过音频和面部标志生成逼真的肖像动画视频
EchoMimic不仅能够通过音频和面部特征点单独生成肖像视频,还能通过音频和选定的面部特征点的组合生成肖像视频。由音频驱动的肖像动画领域在生成逼真的动态肖像方面取得了显著进展。传统方法仅限于利用音频或面部关键点将图像驱动到视频中,虽然它们可以产生令人满意的结果,但也存在某些问题。例如,仅由音频驱动的方法有时会因为相对较弱的音频信号而不稳定,而仅由面部关键点驱动的方法虽然驱动更稳定,但由于对关键点信息的过度控制,可能会导致不自然的结果。原创 2024-07-19 23:47:03 · 1219 阅读 · 0 评论 -
Fal开源力作,AuraFlow v0.1图像生成模型惊艳亮相!ComfyUI&Diffusers已支持,开启你的AI绘画梦想之旅!
如果您想尝试一些快速提示,请前往fal 的模型库开始尝试。如果您想使用该模型构建一些很酷的 Comfy 工作流程,请获取最新版本的Comfy并从我们的HuggingFace 页面下载模型权重。原创 2024-07-19 23:45:19 · 724 阅读 · 0 评论 -
ControlNet作者新作Paints-Undo:一键模拟人类绘画过程,再也没人敢说你的图是生成的了!
PaintsUndo:数字绘画中绘画行为的基础模型Paints-Undo 是一个旨在提供人类绘画行为基础模型的项目,希望未来的人工智能模型能够更好地满足人类艺术家的真实需求。“Paints-Undo”这个名字的灵感来自于相似性,即模型的输出看起来就像在数字绘画软件中多次按下“撤消”按钮(通常是 Ctrl+Z)。Paints-Undo 提出了一系列模型,以图像作为输入,然后输出该图像的绘制序列。原创 2024-07-14 16:45:14 · 736 阅读 · 0 评论 -
腾讯震撼发布!MOFA-Video:表情随心换,运动由你控,视频创作由你做主!
MOFA-Video是一种先进的可控图像动画方法,它使用各种额外的可控信号(例如人体地标参考、手动轨迹,甚至提供的另一个视频)或它们的组合从给定的图像生成视频。这与以前的方法不同,以前的方法只能在特定的运动域上工作,或者在扩散之前表现出较弱的控制能力。为了实现我们的目标,我们设计了几个领域感知的运动场适配器(即 MOFA-Adapters)来控制视频生成管道中生成的运动。原创 2024-07-14 16:42:52 · 667 阅读 · 0 评论 -
AI生图可以直出了!谷歌和Adobe提出使用图像神经场来训练扩散模型,AI生成图像走向真实化!
扩散模型表现出了令人印象深刻的对复杂数据分布进行建模的能力,与 GAN 相比具有几个关键优势,例如训练稳定、更好地覆盖训练分布的模式以及无需额外训练即可解决逆问题的能力。然而,大多数扩散模型学习的是固定分辨率图像的分布。我们提出通过在可以以任何分辨率渲染的图像神经场上训练扩散模型来学习连续图像的分布,并展示其相对于固定分辨率模型的优势。要实现这一点,一个关键挑战是获得一个代表照片级真实感图像神经场的潜在空间。原创 2024-07-14 16:39:35 · 708 阅读 · 0 评论 -
效果拿下新SOTA!中山大学&字节提出虚拟试穿框架-MMTryon,可通过输入多个服装图像及指定穿法的文本指令来生成高质量的组合试穿结果。
本文介绍了 MMTryon,一种多模态多参考虚拟试穿 (VITON) 框架,该框架可以通过将文本指令和多张服装图像作为输入来生成高质量的组合试穿结果。我们的 MMTryon 解决了先前文献中忽略的三个问题:支持多个试穿项目。现有方法通常设计用于单件试穿任务(例如,上衣/下装、连衣裙)。穿衣风格的规范。现有方法无法根据说明定制穿衣风格(例如,拉上/拉开拉链、塞进/塞出等)分割依赖性。它们进一步严重依赖特定类别的分割模型来识别替换区域,分割错误直接导致试穿结果中出现明显的伪影。原创 2024-07-14 16:36:52 · 1132 阅读 · 0 评论