stabilityAI发布新模型cosXL和画面调整模型cosXL-Edit

背景介绍

stability.AI在技术创世团队跑路，然后CEO跑路，然后一地鸡毛之后，于4月8号默默的更新了一个新的模型cosXL和cosXL_edit;

比较有趣的是，comfyui居然在模型发布之前就先做了支持，啊，果然自家团队的软件就是不一样，都会抢答了。所以这是不是也意味着，学习一下comfyui是一键很有必要的事情了？

当然，如果stability.ai还能正常存在下去的话...[手动狗头]

先附录个官方的huggingface地址：

https://huggingface.co/stabilityai/cosxl

🚙省流版地址下载+comfyui工作流地址：https://pan.quark.cn/s/34c9bdec15be

🚌将模型下载后放入ComfyUI/models/checkpoints 文件夹中（或者你自己自定义的大模型文件夹路径下），将工作流下载后直接拖入ComfyUI 上就可以使用。

官方模型介绍

Cos Stable Diffusion XL 1.0 Base （这个名字还是真的好长）经过调整，可使用余弦连续 EDM VPred 采样调度器。此计划更改最显着的特点是它能够产生从深黑到纯白的全颜色范围，同时对模型在每个步骤中的图像变化率进行了更微妙的改进。

（主要是色阶和明度拉的更开，之前生成的图像偏向于生成中性灰色调的图形，如果非要生成非常亮或者非常暗的图像，需要借助lora进行调整和优化，现在模型自己就可以了，理论上。）

cosxl_edit模型 经过调整以使用余弦连续 EDM VPred 计划，可以根据提示词进行图像编辑。该模型将源图像与提示一起作为输入，并将提示解释为如何更改图像的指令。

用法

建议使用Stable Swarm UI来推理 CosXL 模型和编辑模型。

Cos Stable Diffusion XL 1.0 模型可以直接放在sd软件的models库里边，就跟1.5或者xl放大模型的地方一致。

有关如何使用 Edit Stable Diffusion XL 1.0 的示例，请参阅ComfyUI 示例

用途

直接使用

该模型仅用于研究目的。可能的研究领域和任务包括

• 艺术品的生成以及在设计和其他艺术过程中的使用。
• 在教育或创意工具中的应用。
• 生成模型的研究。
• 安全部署可能生成有害内容的模型。
• 探索和理解生成模型的局限性和偏差。

排除的用途如下所述。

超出范围的使用

该模型并未经过训练以真实或真实地表示人或事件，因此使用该模型生成此类内容超出了该模型的能力范围。

局限性和偏见

• 该模型没有达到完美的真实感
• 模型无法呈现清晰的文本
• 该模型难以应对涉及组合性的更困难的任务，例如渲染与“蓝色球体顶部的红色立方体”相对应的图像
• 一般情况下，面孔和人物可能无法正确生成。
• 模型的自动编码部分是有损的。

简单测试

对了，cosxl这个模型的用法，就跟正常的xl模型用法一样，cosxl_edit这个模型的用法就很不一样了，可以参考下网盘里边工作流的用法，或者直接看comfyui官方Image Edit Model Examples | ComfyUI_examples

先固定种子，用普通的xl和cosxl模型固定种子来一组对比：

左边是cosxl，右边是basexl，emm，的确，画面更白一点...

换一组提示词，portrait of 1 cat, pure white background,

emm，对于纯色的理解，左边的cosxl的确略胜一筹，但，画面效果就见仁见智了...

接下来再尝试下cosxl_edit:

snow at sunset oil painting

效果貌似不错，的确可以比较好的控制画面按照提示进行修改；

在陆地上增加点小兔子：add rabbits on the ground,

哈，居然可以；

在水里增加点鸭子:add  ducks in the water,

修改为秋天：

这张就有点一般般了，色彩明显爆了，不过总的来说，又看到一些可能性，比如说未来的设计，或许不用学习什么inpaint，controlnet什么的了，直接告诉ai，他就知道怎么修改了，emm，不过距离这个目标，可能还差了那么N年吧。

 🎉写在最后~

去年的时候写了两门比较基础的Stable Diffuison WebUI的基础文字课程，大家如果喜欢的话，可以按需购买，在这里首先感谢各位老板的支持和厚爱~

✨StableDiffusion系统基础课（适合啥也不会的朋友，但是得有块Nvidia显卡）：

https://blog.csdn.net/jumengxiaoketang/category_12477471.html

​​🎆综合案例课程（适合有一点基础的朋友）：

https://blog.csdn.net/jumengxiaoketang/category_12526584.html

​​

这里是聚梦小课堂，就算不买课也没关系，点个关注，交个朋友😄