深度学习系列66：试穿模型IDM-VTON上手

最新推荐文章于 2024-07-09 11:34:27 发布
最新推荐文章于 2024-07-09 11:34:27 发布
阅读量1.3k 收藏 5
点赞数 10
分类专栏： 深度学习系列 文章标签： 深度学习 idm 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kittyzc/article/details/138205119
版权
本文介绍了IDM-VTON模型的结构，包括高级语义网络IP-Adapter和低级语义网络GarmentNet，以及如何通过HuggingFace的示例快速上手。详细步骤涉及下载预训练模型并配置环境以实现实时衣物换人效果。
摘要由CSDN通过智能技术生成

1. 模型概述

在这里插入图片描述
如图，总体流程为：

  1. 输入为：衣服的编码xg；人物+noise的编码xt；人物身上衣物的mask和人体pose分割(densepose)；
  2. 衣服部分经过两部分网络：1）高级语义网络IP-Adapter：是一个图像编码器，比如CLIP模型；2）低级语义网络：称为GarmentNet，是一个UNet，用来提取图像低级细节特征，例如纹理，图案等等。
  3. 人体部分经过TryonNet，也是一个UNet。其输入和GarmentNet同层进行拼接后，输入自注意力层，然后取左半部分，与IPAdaper的结果，以及文本编码结果进行交叉注意力计算。

官网为：https://idm-vton.github.io/
不同模型的效果对比图如下：
在这里插入图片描述

2. 快速上手

可以在huggingface的demo上进行尝试：https://hf-mirror.com/spaces/yisol/IDM-VTON
参考https://github.com/camenduru/IDM-VTON-jupyter/blob/main/IDM_VTON_jupyter.ipynb，执行代码：

git clone  https://hub.nuaa.cf/camenduru/IDM-VTON-hf
cd IDM-VTON-hf
apt -y install -qq aria2
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://hf-mirror.com/camenduru/IDM-VTON/resolve/main/densepose/model_final_162be9.pkl -d /content/IDM-VTON-hf/ckpt/densepose -o model_final_162be9.pkl
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://hf-mirror.com/camenduru/IDM-VTON/resolve/main/humanparsing/parsing_atr.onnx -d /content/IDM-VTON-hf/ckpt/humanparsing -o parsing_atr.onnx
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://hf-mirror.com/camenduru/IDM-VTON/resolve/main/humanparsing/parsing_lip.onnx -d /content/IDM-VTON-hf/ckpt/humanparsing -o parsing_lip.onnx
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://hf-mirror.com/camenduru/IDM-VTON/resolve/main/openpose/ckpts/body_pose_model.pth -d /content/IDM-VTON-hf/ckpt/openpose/ckpts -o body_pose_model.pth
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://hf-mirror.com/camenduru/IDM-VTON/resolve/main/IDM-VTON-DC/unet/diffusion_pytorch_model.bin -d /content/IDM-VTON-hf/ckpt/openpose/ckpts/unet -o diffusion_pytorch_model.bin
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://hf-mirror.com/camenduru/IDM-VTON/resolve/main/IDM-VTON-DC/unet/config.json -d /content/IDM-VTON-hf/ckpt/openpose/ckpts/unet -o config.json

pip install -q diffusers==0.25.0 accelerate==0.26.1 einops==0.7.0 onnxruntime==1.16.2 cloudpickle omegaconf gradio==4.24.0 fvcore av config spaces -i https://pypi.tuna.tsinghua.edu.cn/simple

然后执行python app.py启动应用即可
另外下载的模型也可以替换为F16的版本，参考：https://hf-mirror.com/camenduru/IDM-VTON-F16/tree/main

IE06
关注
专栏目录
idm-ts-types:ForgeRock IDM TypeScript 类型
08-04
ForgeRock IDM TypeScript 类型 TypeScript 支持 – 用 TypeScript 编写 IDM JavaScript 代码，它具有现代语言功能，同时仍与 Rhino（IDM 使用的 JavaScript 引擎）兼容。 类型安全 – 我们将一些包装 IDM API 的 ...
AI一键换衣-开源虚拟试穿项目IDM-VTON（使用教程）
2301_78240361的博客
06-03 919
IDM-VTON 是一种基于扩散模型的虚拟试穿技术，由 KAIST 和 OMNIOUS.AI 共同开发。 IDM-VTON 透过改进扩散模型，增强虚拟试穿任务中的影像保真度和细节保留，特别是在真实世界场景中产生高保真度的虚拟试穿图像。 IDM-VTON 透过分析人物和服装的图像，即使在复杂背景和多样姿势下，IDM-VTON 也能保持服装的细节特征，产生逼真的试穿效果。
IDM-UDF:Internet Download Manager-用于AutoIt脚本的IDM UDF
05-06
IDM UDF Internet Download Manager-用于AutoIt脚本的IDM UDF。 截屏 用法 。 解压缩IDM.au3文件并将其复制到“包含”文件夹（C：\ Program Files \ AutoIt3 \ Include）中。 将#Include <IDM>添加到您的AutoIt脚本中。 从任何位置调用_IDM_SendLink()函数！ 例子 参见 贡献 叉吧！ 创建功能分支： git checkout -b my-new-feature 提交更改： git commit -am 'Add some feature' 推送到分支： git push origin my-new-feature 提交拉取请求：D 学分 从 。 执照 这项工作已获得许可。
最强虚拟试衣开源模型，ComfyUI体验指南
最新发布
小王的储物间
07-09 761
IDM-VTON是一个基于图像的虚拟试穿模型方法，它能够根据一张人物描绘图像和一张服装描述的图像，渲染出人物穿着精选服装的虚拟试穿图像。不仅增强了虚拟试穿任务中的图像保真度和细节保留，特别是在真实世界场景中。IDM-VTON，使用两个不同的模块来编码服装图像的语义；在基于扩散模型的基础UNet上，• 从视觉编码器提取的高级语义特征融合到交叉注意力层，• 然后，从并行UNet提取的低级特征融合到自注意力层。• 此外，还为服装和人物图像提供了详细的文本提示，以增强生成视觉效果的真实性。
8G显存玩转AI换衣IDM-VTON(支持MAC、WIN)
嘟嘟的博客
05-09 1276
最近AI换衣项目IDM-VTON挺火哈，我也火速体验了一把。效果也是很不错，相对OOTDiffusion的换衣效果提升了不少。那部署的时候遇到比较大的问题是高显存占用！太吃配置了！24G的显卡占用了18G左右。于是花了点时间改成使用了低精度模型进行加载(多个版本，下文有介绍)，并且支持MAC系统，现在只需要最低8G显存，就能运行这个项目啦！
IDM-VTON：真实虚拟试穿的新突破
05-20 2401
IDM-VTON，全称为“Improving Diffusion Models for Authentic Virtual Try-on in the Wild”，即“改进扩散模型以实现野外真实虚拟试穿”。这项技术是人工智能领域的一项创新，旨在通过改进扩散模型来提升虚拟试穿的真实感和准确性。wp:headingIDM-VTON技术的出现，不仅解决了虚拟试穿领域中的一些关键问题，也为未来的时尚产业带来了无限可能。随着技术的不断进步，我们有理由相信，未来的虚拟试穿将更加真实、个性化，为用户带来更加丰富的体验。
IDM-VTON技术让你在家也能试穿新衣服
05-19 448
IDM-VTON全称是Improving Diffusion Models for Authentic Virtual Try-on，主要意思就是“交互式动态虚拟试穿”。这个技术听起来很高大上，但其实它就像是一个高科技的“试衣间”，但这个试衣间是虚拟的，你可以在家里使用手机或电脑来试穿各种衣服。IDM-VTON技术正在变得越来越流行，它不仅让购物变得更加便捷和有趣，还为很多行业带来了创新的解决方案。随着技术的发展，未来我们可能会看到更多令人兴奋的应用出现。
虚拟试衣 DCI-VTON 论文阅读笔记
xiaozhi77的博客
10-25 816
许多现有虚拟试衣方法依赖于生成对抗网络（GAN），这类方法在高分辨率下可能出现缺陷。扩散模型被认为是一种具有潜力的替代方法，然而，简单地将服装作为引导扩散模型进行修复（inpainting）并不足以保持服装的的细节。为了克服上述问题，我们提出一个基于模板的修复方法，利用变形模块指导扩散模型进行有效生成。这个变形模块对服装进行初始处理，这有助于保持服装的局部细节。然后我们结合变形的服装图和无服装的人体图，并添加噪声作为扩散模型的输入。
政安晨【零基础玩转各类开源AI项目】解析开源：IDM-VTON：改进真实虚拟试穿的扩散模型
政安晨——致力于AI人工智能数字互动领域
06-07 869
该论文研究了基于图像的虚拟试穿，即在一对分别描绘人物和服装的图像中，渲染出人物穿着特定服装的图像。与其他方法（如基于 GAN 的方法）相比，以前的工作将现有的基于示例的内绘扩散模型用于虚拟试穿，以提高生成的视觉效果的自然度，但它们未能保留服装的身份。为了克服这一局限性，我们提出了一种新型扩散模型，它能提高服装的保真度并生成真实的虚拟试穿图像。
针对实拍场景的虚拟试衣模型IDM-VTON：高保真和细节保留的虚拟试穿算法，真实环境效果领先
nulifancuoAI的博客
05-15 619
虚拟试衣是一种将人物图像与服装图像合成，生成人物穿戴目标服装的图像技术。相比传统的GAN方法，基于扩散模型的虚拟试衣方法能够生成更加自然逼真的图像。然而，现有的扩散模型在保留服装细节方面仍存在局限性。为了解决这一问题，本文提出了一种名为IDM-VTON的新型扩散模型，能够在保持高清逼真度的同时更好地保留服装的细节特征。该模型在仿真场景和真实环境评测中均取得了优异的表现，在细节保留度和图像真实性方面超越了之前的方法。Huggingface模型下载：AI快站模型免费加速下载：yisol。
IDM-Parser:分析来自IDM-40加速器单元的数据的工具
04-11
IDM解析器该工具可以分析IDM-40加速器单元中的数据。 它制作了来自中子探测器和闪烁探测器的两个事件时间直方图，一个来自中子探测器的振幅直方图，给出了有关多个中子事件的信息和摘要文件。 信息以CP-1251 RU语言...
(完整版)idm(internet-download-manager)：最佳下载软件-深度功能测评(.doc
11-16
IDM（Internet Download Manager）深度功能测评 IDM（Internet Download Manager）是一款功能强大且广受欢迎的下载软件，提供了多种功能特性，包括静默下载、浏览器支持、视频音频下载、准确识别文件名、批量下载...
inet-2017:IDM-17资源库，用于“ Internet技术”课程
05-09
inet-2017 IDM-17资源库，用于“ Internet技术”课程需求说明： : 沙盒链接： ： 本学期的项目：IDM-17-01： 游戏： : 聊天： ： 购物车： ： 图书馆： ： IDM-17-02： 来自世界各地的食谱书： https : //github....
【虚拟试衣论文笔记】M3D-VTON: A Monocular-to-3D Virtual Try-On Network
bikahuli的博客
04-03 1916
论文地址： 项目地址：https://github.com/fyviezhao/M3D-VTON 本文提出了一种 Monocular-to-3D Virtual Try-On Network (M3D-VTON) 的多姿态图像虚拟试衣方法，兼顾了2D与3D方法的优点。主要是利用所提出的 Monocular Prediction Module (MPM) 从图像中估计目标人体分割图、深度图来同时获得2D与3D的辅助信息，并且通过 Depth Refinement Module (DRM) 加强深..
浓眉大眼的Apple开源OpenELM模型；IDM-VTON试衣抱抱脸免费使用；先进的语音技术，能够轻松克隆任何人的声音
haleycat的博客
04-25 1488
CelestialChat 是一个简易的人工智能聊天工具，它的主要功能是提供快速的搜索结果，这得益于使用了 Claude Haiku 和 Tavily 搜索的支持。OpenVoice是由MyShell TTS开发的一项先进的语音技术，能够轻松克隆任何人的声音，并用多种不同的语言进行说话，同时还能够控制话语中的情感和口音。OpenVoice通过其技术创新，为语音生成和编辑领域提供了极大的灵活性和广阔的可能性，使得声音的克隆和个性化调整更加高效、便捷。这意味着，只要有足够的样本，它就能模仿任何人的声音。
AI试衣IDM-VTON，Windows11本地安装配置记录！
托尼不是塔克
05-13 1164
昨天我们已经介绍过IDM-VTON这个开源项目了。通过这个软件可以轻松实现一键换衣服。昨天，简单演示了一下在线使用。今天，来演示如何安装到本地电脑上！本地配置会有一定的专业性，懂的人可以参考下。不懂得直接拉到最后，动动手指！我会发一个制作好的离线软件包。闲话不多说了，直接开干！确保你本地有显卡（我用的是3090），Windows系统，已经安装Python或者Conda，GIT等软件。
推荐：ComfyUI-IDM-VTON —— 让虚拟试衣更加轻松
gitblog_00013的博客
06-11 583
推荐：ComfyUI-IDM-VTON —— 让虚拟试衣更加轻松 ComfyUI-IDM-VTONComfyUI adaptation of IDM-VTON for virtual try-on.项目地址:https://gitcode.com/gh_mirrors/co/ComfyUI-IDM-VTON 1、项目介绍 随着人工智能技术的飞速发展，我们很高兴向大家推荐ComfyUI-IDM-V...
一键换装整合工具（IDM-VTON）8G可用，1分钟出图快
qq_54557352的博客
05-21 469
本软件完全免费，测试中。
SUMO-idm跟驰模型代码
05-16
SUMO-idm跟驰模型是一种基于间距-速度控制的车辆跟驰模型，其代码实现如下： ```python class IDMVehicle(AVLaneVehicle): """ A vehicle using the IDM acceleration model. This vehicle implements the IDM car-following model. Additionally, it may use the MOBIL lane-changing model to change lanes. Parameters ---------- * see parents * idm_params : dict, optional Dictionary with parameters for the IDM model. The default value is `{'a': 1.3, 'b': 2.0, 'v0': 30, 'T': 1.5, 's0': 2, 'delta': 4}`. For a description of the parameters, please refer to the `IDM model wikipedia page <https://en.wikipedia.org/wiki/Intelligent_driver_model>`_. Notes ----- The MOBIL model is only used if the `lane_change_controller` is set to a `MobilLaneChanger` instance. Examples -------- >>> from flow.controllers import IDMController, ContinuousRouter >>> from flow.core.params import VehicleParams, SumoParams >>> >>> sumo_params = SumoParams(sim_step=0.1, render=False) >>> vehicle_params = VehicleParams() >>> vehicle_params.add( ... "human", ... acceleration_controller=(IDMController, {}), ... routing_controller=(ContinuousRouter, {}), ... num_vehicles=20) >>> >>> # create a network and a scenario >>> from flow.networks import HighwayNetwork >>> from flow.scenarios import Scenario >>> from flow.core.params import NetParams >>> from flow.core.params import InitialConfig >>> from flow.scenarios import HighwayScenario >>> from flow.envs.ring.accel import IDMVehicle >>> >>> network = HighwayNetwork( ... name='highway', ... vehicles=vehicle_params, ... net_params=NetParams(), ... initial_config=InitialConfig( ... spacing="uniform", ... lanes_distribution=float("inf"), ... lanes_count=2 ... ) ... ) >>> scenario = HighwayScenario( ... name='highway', ... generator_class=HighwayGenerator, ... vehicles=vehicle_params, ... net_params=NetParams(), ... initial_config=InitialConfig( ... spacing="uniform", ... lanes_distribution=float("inf"), ... lanes_count=2 ... ) ... ) >>> >>> # create the environment >>> from flow.envs import HighwayPOEnv >>> env = HighwayPOEnv( ... env_params=EnvParams(), ... sim_params=sumo_params, ... scenario=scenario, ... simulator='traci' ... ) >>> >>> # run the simulation >>> obs = env.reset() >>> for i in range(100): ... action = [1, 0] ... obs, rewards, dones, info = env.step(action) ... if i % 10 == 0: ... env.render() >>> env.close() """ def __init__(self, *args, **kwargs): super().__init__(*args, **kwargs) self.idm_params = kwargs.get( "idm_params", {'a': 1.3, 'b': 2.0, 'v0': 30, 'T': 1.5, 's0': 2, 'delta': 4}) def get_accel(self, env): """See parent class.""" leader = self.get_leader(env) if leader is None: return self.idm_params["a"] v = env.k.vehicle.get_speed(self.id) v_leader = env.k.vehicle.get_speed(leader) dv = max(0, v_leader - v) s = env.k.vehicle.get_headway(self.id) s_star = self.idm_params["s0"] + max( 0, v * self.idm_params["T"] + v * dv / (2 * np.sqrt(self.idm_params["a"] * self.idm_params["b"]))) return self.idm_params["a"] * ( 1 - np.power(v / self.idm_params["v0"], self.idm_params["delta"]) - np.power(s_star / s, 2)) ``` 其中，`get_accel`方法是计算车辆加速度的主要函数。在该函数中，根据跟驰模型的公式计算出车辆的期望车头间距`s_star`，然后根据该期望车头间距计算车辆的加速度。具体来说，该模型主要包含以下几个参数： - `a`：车辆加速度的最大值； - `b`：车辆减速度的最大值； - `v0`：车辆的期望速度； - `T`：期望的时间间隔，即车辆跟前车保持的时间间隔； - `s0`：车辆的最小车头间距； - `delta`：车辆速度对加速度的影响因子。 通过调整这些参数，可以对车辆的行为进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值