AI 绘画风格迁移之青铜模型训练

前情提要

2023-07-01 周六 杭州 阴

小记: mmp，上周吃烤面筋，不小心牙签扎到口腔，结果这几天吃什么都不舒服，可是计划还是要做的，下半年要把当下 AI 的应用梳理下，自己还是喜欢那种先使用再学习相关原理，再有就是如果有时间就学习下游泳.

任务说明

1 缘起

端午假期去金华和义乌，突然一个人独自旅行的时候才有孤独的触动，学习不总使人快乐的。我有点冒险精神的，也总是有点好奇心，什么都愿意尝试下，不过一个人旅行不用去妥协，这也是唯一的好处吧，可是生活的意义又是什么呢，就是再不断的给自己增加羁绊的过程。我对幸福的定义就是爱的过程不那么累，这就够了；在旅途中看着远处若隐若现的山丘，雨水打起阴于山间的雾气，翠绿朦胧，有一种青铜的质感，既然如此回来就训练一个青铜器的 lora ，看下实际操作会有哪些问题，毕竟张口胡来的都是哪些眼高手低的人；

2 任务安排

** 任务 **

1. 准备训练集
2. 训练集打标
3. lora 模型训练
4. 风格测试

流程实践

1. 准备训练集

材料选择: 青铜器
耗时: 5-30 min
素材: 30-100张
说明: 材料选择一般按照自己的想法去准备就好了，老家古时候属于殷商地区，因此青铜器属于当时的特色，干脆就以这个为主题做一个风格，实际上我有想过 UI 中图标的设计可以通过 AI 风格化完成的，这样就可以训练一个统一的风格为产品辅助设计(世界太多混子了，又觉得自己了不起，这个世界淘汰你，从来不会寒暄的)；

2. 训练集打标

说明: 这一块是很烦的过程，第一图片选择要合适，第二为了使得自己训练的 lora 有一个明确的主题，提示词的筛选必须匹配清楚，就必须自己核对筛选，我们所作的工作和绘画完全没有任何关系的，我们所有的努力都在绘画范畴以外；

3. lora 模型训练

说明: 参数有一个参考标准，但是大多还是需要自己进行调参训练的，这就是炼丹，还是需要一个基准参考，在比较好的基础上进行微调才能够更好的达到训练效果。

4. 风格测试

训练完成后，在项目下会保留训练好的模型，把训练好的模型放到自己分类下，便于调用；

** 原型架构图 **

** 文生图 **

5. 训练评测

有一定的训练结果，可以看出来建筑是有一定的青铜器风格存在的，本来想着把青铜器的风格套入建筑设计中，实际并没有很好的达到自己的预期，一般房屋建筑的线条感很强，但是青铜器本身没有那么强的线条感，如果强行嵌套反而觉得有点怪怪的感觉；没有达到自己的心理预期，却也是一次不错的体验，接下来方几张未被考古发现的青铜器照片吧!

总结

经过测试可以看出来，如果我是用水杯器皿等，实际训练的青铜器模型还是不错的，如果使用建筑或者现代的车辆的设计图作为架构输入则会导致牛头不对马嘴的情况，现在很多人喜欢训练明星人物，因为人物只要指定名称，样子基本不会有太多的差别，并且姿态转换也可以随机，只要特征是人就可以。但是青铜器不同，青铜主要训练模型是器皿，所以无法很好的人物渲染，因此训练人物反而是 lora 模型中最为简单的，反而跨风格迁移则需要付出更多的数据清洗心思才可以。