原仓库: https://github.com/magic-quill/MagicQuill
官方ComfyUI插件仓库: https://github.com/magic-quill/ComfyUI_MagicQuill
官网及教程: https://magicquill.art/demo/
Demo:
https://huggingface.co/spaces/AI4Editing/MagicQuill
http://magic.chenjunfeng.xyz/
由香港科技大学,蚂蚁集团,浙江大学,香港大学共同开源的:MagicQuill智能交互式图像编辑系统,着实震惊了我,下面来自官方视频介绍
MagicQuill
主要特点: 😎 用户友好的界面 🤖 AI 支持的建议 🎨 精确的本地编辑
下面动图不动,请参考:放弃PS吧,异常强大的魔法羽毛MagicQuill智能交互式图像编辑系统,让AI帮你修照片!ComfyUI中安装使用!8G可用!
就在最近,发布了ComfyUI插件,赶紧用起来试试。
ComfyUI-MagicQuill 的安装
注意:
transformers==4.37.2 依赖的版本较低,建议创建新的ComfyUI环境。
下载所需模型
下载地址:https://huggingface.co/LiuZichen/MagicQuill-models
下载到:comfyui/models
目录下,除了Checkpoints文件夹外,其他模型都需要下载,并且保持目录路径,以及文件名的同名。
安装插件
首先安装依赖的插件:https://github.com/nullquant/ComfyUI-BrushNet ,并重命名为:ComfyUI_BrushNet
cd comfyui/custom_nodes
git clone https://github.com/nullquant/ComfyUI-BrushNet
# 重命名目录:ComfyUI-BrushNet,即把中横线-,改为下划线_
mv ComfyUI-BrushNet ComfyUI_BrushNet
安装 安装ComfyUI-MagicQuill插件
cd comfyui/custom_nodes
# 安装ComfyUI-MagicQuill插件
git clone https://github.com/magic-quill/ComfyUI_MagicQuill
安装python依赖:
cd comfyui/custom_nodes
python -m pip install ComfyUI_BrushNet/requirements.txt
python -m pip install ComfyUI_MagicQuill/requirements.txt
注意:
transformers 版本必须为 4.37.2,否则会报错。
报错:
The size of tensor a (640) must match the size of tensor b (320) at non-singleton dimension 1
解决方式:
关闭秋叶的激进模式,原版的去掉--fast
启动参数,如下图:
工作流
https://github.com/magic-quill/ComfyUI_MagicQuill/blob/main/MagicQuill.json
界面介绍
加载大模型
根据需要修改的图片类型,加载对应的大模型:
- • SD1.5/realisticVisionV60B1_v51VAE.safetensors :这会生成逼真风格的图像!大多数时候都使用这个。
- • SD1.5/DreamShaper.safetensors :这个用于生成奇幻风格的图像
- • SD1.5/majicMIX_realistic :这个擅长生成肖像👩
- • SD1.5/MeinaMix.safetensors :这个擅长生成动漫图像。
- • SD1.5/ghostmix_v20Bakedvae.safetensors :动画图像生成的另一种模型。
- • 其他已经存在的SD1.5 大模型。
上面几个大模型:https://huggingface.co/LiuZichen/MagicQuill-models 都有提供。
MagicQuill参数介绍
- • Negative Prompt: 否定提示: 用户可以输入他们希望模型避免生成的内容。无论您不想生成什么,都将其放在这里。
- • Fine Edge: 精细边缘 用户可以启用此选项来激活精细边缘控制。
- • Grow Size: 增大大小: 调整该参数可以设置编辑图像时笔触周围影响的像素范围,以扩大/缩小笔触影响区域。
- • Edge Strength: 边缘强度: 用于调整加/减笔刷控制强度的参数。简单来说,如果你对自己的绘画技巧有信心,你就可以增强力量。如果你和我们一样是个糟糕的抽屉🤦,请保持参数不变,或者稍微降低强度。
- • Color Strength: 颜色强度: 用于调整颜色画笔控制强度的参数,可以调整图像的着色效果。
- • 剩下的参数只是扩散模型的一些常用参数!需要根据你选用的模型来设置,也可以保持默认。
按钮介绍
按钮详细说明
| 使用添加画笔根据提示添加细节和元素 |
![]() | ![]() |
| 结合加法和减法画笔,创造出令人惊叹的组合效果! |
![]() | ![]() |
| 颜色画笔可以精确地为图像着色,与您画笔的颜色相匹配~ *请注意,颜色画笔和加减画笔是互斥的 - 一次只能使用一个! |
![]() | ![]() |
| 刷子超级智能,根据你画的来自动输入对应的提示词,当然有的时候不是很准确,就需要手动输入提示词。 |
| | 上传您要编辑的照片 或点击黑框: “Upload or drop an image here” 来上传图片。 |
| 刷错了?用橡皮工具擦掉就可以了! |
| 使用光标拖动、旋转笔画并调整其大小 |
| 左边是 撤销,右边是 反撤销 |
| 单击此垃圾桶可删除笔划 |
| 笔触挡住了我怎么看图像😡?!尝试单击此按钮暂时隐藏您的笔画 |
| 我喜欢这张生成的图像😍,我想继续编辑! ➡️点击✅继续编辑 这是什么东西😡,我不想看! ➡️点击❎放弃结果 |
实战测试
黄色气球
腰带
红色眉毛
移除小鸟
蝴蝶
糖葫芦
手提包
效果简直是太好了,有没有惊艳到你
经测试,自动提示词,可能不是很准确,建议手动输入提示词。
只需要经过简单的涂涂画画,就能修改图片了,那还要PS干啥,哈哈哈!
原图 | 最终效果图 |
| |
最后注意:
启动ComfyUI就会加载llava等3个模型,也就是启动就会占用5G左右的显存,当不用的时候最好把插件禁用,即重命名为: ComfyUI_MagicQuill.disabled,也就是添加 .disabled 后缀,就代表禁用。
我已经提交了ISSUE了,不知道作者会优化不。
完
如果本文帮助了你,请帮忙点赞+关注
,我会分享更多好文章,感谢。
公主好: DevOpsAigc云时代