听雨AI绘画的博客

但是现在，Alpha 的升级版本 Beta 版本来了，不仅突破了原先 768 分辨率的限制，可以直接生成和处理 1024 分辨率的图片，而且相比之前，有更好的细节生成和提示词理解以及控制能力，融合度也更高。我们再来看看文字的重绘效果，总体来说，在文字的生成上，还是原生的稳定一些，Alpha 就不说了，Beta 版在文字生成上虽然比 Alpha 已经好很多了，但是还是不够稳定。看到官网有一个用例是重绘半边脸，听雨也试了下，原生还是一样的毛病，Alpha 的边界很明显，Beta 基本就看不出来重绘的痕迹了。

今天我们主要来讲 jasperai 推出的放大模型，这次 jasperai 在 Hugging Face 上主要推出了三款 ContrlNet 模型，主要是高清放大模型以及深度图模型和法线图模型。上边这个小伙伴们可能看不太清楚，我们截小点的图看看，这脸部的细节可以看到不，看人物的眼睛，高清了很多啊！这里需要调整的参数主要是 ControlNet 的权重，权重越高图像越接近原图，但也不是越高越好，权重越高容易生成噪点。好了，我们直接来看效果，左边是原图，右边是放大四倍以后的效果，可以看到还原的很好。

这里左边 Flux 直出的图虽然背景不是很模糊，但是右边这里使用了 Lora 以后，可以看到背景更高清了，这背景有点抢镜啊，让听雨忍不住多看了两眼。小伙伴们在使用 Flux 出图的时候，应该也遇到过大多数情况下背景都是比较模糊的，虽然大多数时候没啥影响，毕竟我们很多时候都只是看主体嘛。左边是 Flux 直出的图片，可以看到背景很模糊的，右边是加了 Lora 的效果，效果还是很不错的，这个背景就像样多了。但是也有些场景，我们希望整体的构图中背景也可以高清一些，这样在看整张图片的时候也舒服一些。

这边我们重绘一个太阳眼镜，来两组图吧，可以看到效果其实都不错，和原图的融合度也很高，可以看到太阳眼镜上的一些细节，比如边框处的一些装饰风格也和整体的风格很搭配。以下是 FLux 原生重绘工作流，操作也也简单，蓝色节点上传需要重绘的工作流并且绘制重绘区域，绿色节点填写重绘的提示词，其他参数不了解可以使用默认。最左边是原图以及标记的需要重绘的区域，中间是 Flux 模型自己的重绘，最右边是阿里妈妈发布的控制重绘模型。以下是出来的效果，使用 ControlNet 重绘试了好多次，都不能稳定的生成文字，放弃。

上周听雨测试智谱开源的 CogVideoX5B 图生视频的时候还需要 16G 显存才能玩耍，没想开源社区这么快就把显存给打下来了，只需要 10G 显存就可以愉快的玩耍了，嗯，只需要一张 3060 12G 的入门显卡就可以了。听雨之前介绍过 CogVideoX 的文生视频，作为一款开源的文生视频大模型，效果相当惊艳，尤其是后边推出的 CogVideoX5B 效果更佳，开源文生视频领域的 NO1。第一次运行工作流的时候会自动下载模型，我们也可以手动下载，模型以及工作流放在文末的网盘里了，需要的小伙伴自取。

不知道小伙伴们在使用 Flux.1 生成真实人物时，是否有关注到生成人物的面孔特征特别明显，尤其是下巴部位的特征尤为明显，不管我们提示词中输入欧美人还是亚洲人，下巴上的特征都没法去除。这么明显的特征也使得我们生成的人物更容易一眼 AI，今天我们就来介绍一款只有 4M 的 Lora 模型，但是却可以帮我们有效的解决"屁股下巴"脸的问题。可以看到权重大于 0 时的，下巴上的特征都比较明显，小于 0 的时候特征逐渐减弱，但是也不是越小越好，可以看到权重为 -1 时，人物有些许变形。

先来画一个站在手机上的女人吧，得有个对比才行，小伙伴们画时候也是最好是添加一些对比物，比如手机、鼠标之类的比较小的东西。Flux.1 的社区是越来越好了，有趣的 Lora 也是一个接着一个，今天我们来分享一个微型人物的 Lora 模型。把自己缩小，周边的事物不变，看着比我们还高的手机和鼠标，梦入巨物的世界里，不知道会不会突然有种巨物恐惧症的感觉呢？这效果还是不错的吧，不知道是不是错觉哈，这图片咋给人一种世界变大自己变小以后谨小慎微的感觉呢！好了，今天的分享就到这里了，感兴趣的小伙伴快去试试吧！

我们再单独截图出来看一下，可以看到 A 提示词链接了一个「条件采样区域」，这个就是我们分区域绘图中的区域绘图模块了，它主要是用来表示这个主题在全局中的占用的区域大小和具体位置。可以看到宽度和高度就是主体所在位置的大小，比如这里图片的总的分辨率是 1536*1024，这里主体图片的大小只占了 640*640，就是下图中比较亮的这一块。区域提示词中最好也带上相同背景的一些提示词，如果融合度不好的话，可以考虑多个区域之间进行边界的交汇，有重叠的地方，适当调整迭代步数，当然重绘也是一种选择。

虽然这次的提速没有很夸张，只有 20% ~ 30% 的样子，但还是值得开心一下的，毕竟只需要添加一个 Lora 节点，这对 FLUX.1 的整个生态的兼容性来说还是很棒的。这里需要注意的一点是 Lora 权重官方推荐是 0.125 左右，Flux 引导参数推荐 3.5，顺便说一嘴，字节的加速 Lora 是可以和其他 Lora 同时使用的。先不管 16 步，我们看看 Lora 8 步 模型和 20 步模型，这样看可能觉得没差几秒，但是对于配置稍低，动辄要一分钟才能出图的小伙伴而言，加速效果就会很明显了。

FLUX.1 出来以后貌似还没给小伙伴们分享过 Lora，让子弹飞了这么久，FLUX.1 的社区生态中也的确出了一些有趣又好玩的 Lora。小伙伴们应该都知道，Lora 对于 AI 绘画的生态来说是不可或缺的一环，再优秀的大模型也没法满足每个人的需求，所以就有了 Lora，以相对较小的代价来帮我们生成特定风格以及特征的图像。今天就让听雨就带小伙伴们来体验几款有趣又好玩的 Lora 模型吧！好了，话不多说，我们直接开整。

原理的话，我们也简单来说下，我们在使用 VAE 将图像编码为潜在噪声时，VAE 解码的值通常在一定范围内，使得最终的潜在噪声只有较小的值范围，而作者做的就是编写了一个函数扩大了这个值的范围，可以使潜在噪声利用全色深度，从而使最终输出更加生动以及拥有更高的对比度。「b」代表蓝色色度，也就是「YCbCr 颜色模型」中的「Cb」，表示图像中相对于亮度「Y」的蓝色成分的偏差，值越高，图像中蓝色的成分越多，图像会显得更蓝；而且插件的参数是可以调整的，听雨这里只是做演示，参数并不是最佳的配置，其他出图参数都是一致的。

现在可以生成提示词的方法有很多，光随机提示词插件就有很多，也有很多类似的专门训练的提示词增强模型，甚至是借助在线的或者本地部署的大语言模型来优化增强提示词的。这里还是要吐槽一下，这个插件太简单了，内部参数都是设定死的，导致相同的原始提示词无法生成不同的提示词，也没法调整想要输出的提示词的长度，这个体验感不是很好。之前听雨也介绍了一款随机提示词插件，不过那个有点太过随机了，而且它的原理其实就是把内置的各个分类的关键提示词进行组合，用多了就会出现重复的提示词。

总的来说，这款 Lora 增强了胶片质感，体现出了一种柔和、低饱和度的调色板，可以让出图的质感更好，人像也更真实，光影的表现更细腻一些。今天我们来分享一个专门用来给 Flux.1 模型增强胶片质感的 Lora，使用以后，人像更真实，光影更细腻，也对亚洲人脸更友好。右边的图的脸部细节就很真实，隐隐约约还能看到嘴边的绒毛，这个才真实呢。左边是不使用 Lora 的效果，默认就是欧美人的形象，右边是使用了 Lora 的效果，默认是偏向亚洲人脸的。左边依旧是正常的图，右边图片的胶片质感看着就挺有感觉的。

现在 Flux.1 社区也陆陆续续的发布了一些支持 Flux.1 的 ControlNet 模型，热度比较高的就是 XLabs-AI 和 InstantX 发布的 ControlNet 模型了，效果嘛，总感觉还是差些意思！这里需要注意一下，MistoLine 的出图效果非常依赖我们输入的提示词以及 ControlNet 的权重设置，效果不好的话就调整这两样，提示词尽量写的详细一些哦。左边是原图，中间是线稿图，右边就是经过 MistoLine 生成的图像了，效果还是很不错的。好了，话不多说，我们直接开整。

最近有一个生成证件照的开源项目蛮火的，之前我们想要生成证件照都需要去线下，线上需要付费或者看广告才能生成，而且生成的效果也是良莠不齐，选项也不多。以后想要生成什么样的证件照都可以自己解决了，主要是操作简单，还免费，对配置也没有什么要求，等美颜和智能换装功能开放出来，那真的是相当实用的功能了！这个节点都是中文，小伙伴们自己点点就知道了，第一个是证件照的尺寸，第二个是背景颜色，第三个是证件照的背景效果，是纯色，还是上下渐变或者中心渐变。这里模型的选择没啥好说的，有三种模型，功能都是差不多的。

以下分别是「ReSharpen」设置 -1、0、1 的效果，放大看的话可以看到最左图不仅细节减少，背景也更模糊了，最右边的图背景上多了一些噪点。功能很简单，就是增加或者减少图像的细节，节点也很简单，就一个节点，只需要嵌入我们的 ComfyUI 的基础工作流中就可以了，随插随用。我们来看工作流，以 FLUX.1 的工作流为例，我们只需要关注红框中的节点就可以了，这个插件就这么一个节点。我们先来看效果，这里使用的是 FLUX.1 的模型，为了对比可以明显一些，听雨这里画了一个用红砖砌成的墙。

Florence-2-X-PromptGen-v1.5 也和 Florence-2 一样有 base 版 和 large 版之分，也就是基础版和升级版，大小分别是 1G 和 3G，显存占用分别是 0.7G 和 1.8G 的样子。想要现在就用上 large 版本的小伙伴，或者 Comfyui_CXH_joy_caption 安装不上的小伙伴，可以安装这个插件：ComfyUI-Miaoshouai-Tagger，这个 Florence-2-X-PromptGen-v1.5 模型官方指定的插件。