前言:
上篇介绍了WHEE中的图生图功能,文生图和图生图都掌握了之后,已经基本可以使用WHEE绘制自己想要的内容了,本篇介绍一下WHEE的第三个主功能-风格模型训练。
一、风格模型训练
WHEE线上训练风格模型相比本地训练优势明显。
风格模型训练,就是用我们需要的图片风格作为参考,根据图片利用AI提炼出共性,最终形成统一风格的模型,使后续出图的风格都能保持此模型的风格,也就是大家常说的LoRA模型。进入WHEE首页,直接点击「风格模型训练」进入模式。
风格模型训练界面非常简洁,主要分为四个部分「风格训练名称」「模型」「高级设置」「上传素材图片」。操作步骤也是这四个步骤,非常简单。以我训练的「民国复古海报V1.0」为例。
风格模型训练最关键的一步就是找好训练集。素材质量的高低直接影响最终训练效果。我按比例,将素材处理成512*768。WHEE提示要求20-50张,为了保证能有更好的训练效果,上传了80张。训练过程中与训练完成后会出现提示框。完成后就可以开始对模型进行测试。
二、风格模型测试
风格模型训练完成后,可以先用简单的提示词跑一张图,看看整体效果,效果还不错,就可以开始后续其他测试。
一般我会使用XYZ序列图进行模型测试,通过测试可以横向对比大模型、迭代步数、采样方法等不同权重对风格模型的影响,选择更好的模型参数,判断过拟合,欠拟合的程度。需要多生图去测试加深对模型的理解。WHEE中没有直接生成XYZ序列图的方法,为了测试模型的稳定性和出图质量,我们可以使用单一维度多次测试对比效果。
确定底模后,再对风格模型不同权重比例进行测试。为了保证测试效果,固定了种子数,测试强度从30%至90%。
底模和强度确定后,对不同采样器的效果进行测试。下图是以60%强度风格模型进行的测试结果。
为了测试风格模型的泛化性,尝试不同提示词的出图效果,主要在「人物」「动物」「建筑」「风景」(测试方向非固定,可自行增减)等几个大方面进行测试。
三、风格模型应用
民国复古海报V1.0风格模型可以应用「海报设计」「结婚照风格延伸」等领域。
风格延伸以结婚照为例,可以直接生成民国复古海报风格的结婚照,可直接按步骤操作生成自己的照片。
本篇教程到这里就全部结束了,本篇文章主要介绍了WHEE风格模型训练功能,详细介绍了风格模型中各种参数及如何测试模型,也简单的介绍了风格模型的广泛应用,快去试试吧~!
关于本地训练篇LoRA模型,也可以看看我主页中的另一篇LoRA模型训练教程的文章。