[ComfyUI]EasyControl：一键实现爆火吉卜力风格转绘！最新更灵活的CN控制器

前字节AI绘画师

于 2025-04-22 15:30:00 发布

阅读量1.7k

点赞数 46

分类专栏： AI教程 AI Comfyui教程文章标签：人工智能 AI作画 AI教程 comfyui工作流转绘模型 AI绘画

本文链接：https://blog.csdn.net/m0_71745754/article/details/147411815

版权

Comfyui教程同时被 3 个专栏收录

268 篇文章

订阅专栏

AI教程

192 篇文章

订阅专栏

105 篇文章

订阅专栏

EasyControl简介

今天文章将介绍一款最新为DIT架构添加的高效灵活的控制组件：EasyControl。由于扩散模型的架构正在从基于U-Net转向扩散变换器（DiT）。但是DiT生态系统缺乏成熟的插件支持，并面临效率瓶颈、多条件协调冲突以及模型适应性不足等问题。因此由Tiamat AI, 上海交通大学, 新加坡国立大学, Liblib AI等机构联合提出了 EasyControl的新架构方法，这是一个高效且灵活的统一条件扩散变换器框架。通过引入轻量级的条件注入LoRA模块、位置感知训练范式，以及结合因果注意力机制和 KV缓存技术，从而显著提升了模型兼容性（实现插件式功能和无损风格控制）、生成灵活性（支持多种分辨率、宽高比和多条件组合），以及推理效率。

EasyControl能够轻松的实现：

• 图像转绘：如将普通图像转化为吉卜力风格图像

• 姿势Pose控制：通过姿势控制生成更具动态感的图像

• 深度Depth控制：基于深度图进行图像修复。

• 线稿Canny控制：通过边缘检测生成线描风格的图像

• 项目主页：https://easycontrolproj.github.io/

• GitHub：https://github.com/Xiaojiu-z/EasyControl

• 模型下载：https://huggingface.co/Xiaojiu-Z/EasyControl/tree/main/models

• 在线体验：https://huggingface.co/spaces/jamesliu1217/EasyControl

EasyControl DiT模型控制体验

本文将使用ComfyUI-easycontrol工作流体验。模型在文末网盘下载。

• ComfyUI-easycontrol：https://github.com/jax-explorer/ComfyUI-easycontrol

• flux模型：在首次运行时会自动下载，大约需要50G磁盘。

• LORA模型：下载模型并放置 /ComfyUI/models/loras 下。地址：https://huggingface.co/Xiaojiu-Z/EasyControl/tree/main/models

• 当前该插件全精度需要40G的显存可用，8位量化加载可24G体验。因此，推荐使用runninghub平台在线体验：https://www.runninghub.cn/ai-detail/1907697326066905090/?inviteCode=kol01-rh059

EasyControl DiT模型控制ComfyUI体验

EasyControl DiT模型控制ComfyUI工作流下载：

LibLIbAI下载：https://www.liblib.art/modelinfo/08cb7542d8ed4b3da8ef5ae2e4809255?versionUuid=dcc72eadbf3a46cb85483993787230cb

RunningHUB下载：https://www.runninghub.cn/post/1907687687565021186/aiDetail/?inviteCode=kol01-rh059

注意：

• 需要开启8位量化才能在24G显存体验。也可在线体验。

• 同时EasyControl还支持深度、线稿、姿势控制。

01.一键转绘吉卜力风格

体验地址：https://www.runninghub.cn/ai-detail/1907697326066905090/?inviteCode=kol01-rh059

Ghibli Studio style, charming hand drawn anime style illustration

02.CN控制（深度）

体验地址：https://www.runninghub.cn/ai-detail/1909564552495988737/?inviteCode=kol01-rh059

1 women, The image features a person wearing a light pastel outfit in a casual outdoor environment. The individual has mid-length straight hair, soft brown in color, and is dressed in a school-inspired ensemble. They are wearing a crisp white blouse adorned with a neatly tied black ribbon bow at the collar, adding a formal and youthful touch to the attire. Over the blouse, they have on an oversized light blue knitted cardigan with visible buttons, suggesting warmth and comfort. The bottom is a high-waisted pleated skirt in matching light blue, delivering a cohesive look. Their pose is playful, as they hold and gently pull the strands of their hair outward with both hands. The background is blurred, showcasing the soft focus of a tree-lined pathway with dappled sunlight and shadows, evoking a serene and casual atmosphere. The setting suggests a park or urban pedestrian area on a sunny day, adding to the charm of the overall scene.

• 推荐不想本地自己折腾的同学一个可在线使用**Runninghub平台可在线体验AI应用和工作流（注册即送1000积分可用）。**主页更多精彩工作流可在线体验： https://www.runninghub.cn/user-center/1890418187312222210?utm_source=kol01-RH059 。**阿里万相-最强开源*图生视频AI应用*：**https://www.runninghub.cn/ai-detail/1894632237306937345?utm_source=kol01-RH059 。AI工作流：https://www.runninghub.cn/post/1894584540348743681/aiDetail?utm_source=kol01-RH059