AI 美甲生成器｜训练笔记

最新推荐文章于 2024-05-30 10:55:04 发布

shadowcz007

最新推荐文章于 2024-05-30 10:55:04 发布

阅读量2.9k

点赞数 1

原文链接：https://mp.weixin.qq.com/s?__biz=MzA3MDgyMjMwMA==&mid=2649962157&idx=1&sn=98c7059e1448c8b51d4211225cab3dc9&chksm=8731665eb046ef48fd250e2a52a3dfe6f4d95f9508990665473938ffbe06800375bb012a2a5f&scene=126&&sessionid=0

版权

by: 周末 & 海辛

和@周末基于 Stable Diffusion 进行训练，做出了一款由文字生成美甲图案的 AI 美甲生成器，以下是一些生成成果。

Fine tune 模型的训练其实并不难，目前有很多基于 Stable Diffusion 的 fine tune pipeline，也多半会提供一个 end-to-end 的 notebook 给用户使用。

理论上只需要指向自己的数据集就可以点运行运行运行，然后高枕无忧地等着模型训练好上传到 Hugging Face。但天下哪有不出 bug 的 e2e pipepline，更遑论各种环境都装的完美顺畅的便宜云服务器。碰上报错只能勉勉强强查查，正所谓 Stack Overflow 是我的（社区）大学，GitHub issues 是我的售后热线（x

在整个训练的过程中，最重要的还是准备数据集，在美甲的数据集中，需要对抓取的图片进行预处理去除无关信息并保证统一的版式，这是最耗费精力也是对训练影响最大的部分。

其次是图片的描述，因为 SD 是监督学习，所以必须给每张图片打上准确合适的标签，提供给SD来理解语义与图像之间的关联。

我们借助了另一个机器学习模型 BLIP 来给图片打 label，BLIP 感觉是一个一周工作 100 小时的社畜，经常在描述语里自言自语和咆哮，比如：

a bunch of fake nails with flowers on them, inspired by Louis Comfort Tiffany, cloisonnism, ffxiv heavensward, is this loss?, ebay listing thumbnail, presenting magic gem, earth tones, vases and bottles, the last guardian skinny towers, aesthetic!!!!!!!!!!

以及，

black and white stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil stil, an airbrush painting, cobra, nail art, the dress's lower, pale white detailed reptile skin, posable pvc, talons, panels

（这种醉汉模式的标注力真的让人一言难尽，如果重来一次我会选择 Clip Interrogator）

我们对 Blip 标注的内容进行了人工的清理和修正后，就都丢给 stable diffusion 开始学习了。

进度条往前跑，每训练一些步数，模型就会 dump 出效果图，一开始它做出来的图是这样的：

努力学习之后它做出来的图就变成了：

看着效果图从莫名其妙到走上正轨还挺有趣的，是一种不断有正反馈的体验，意外地很有成就感。

等到最终训练完成，我们会得到一个 14GB 的 checkpoint，记录所有模型的参数。下载存储都很费时间和空间。好在可以将其转换为 HF 的 diffusers，所需的储存空间会大大降低，并且可以直接调用 diffusers 的 API 来测试生成图片，比 SD 自带的 text2img 脚本要方便很多。

最终模型和 Demo 在 Hugging Face 上发布，并且在 Twitter 上得到了 Hugging Face 官号的转发。