使用AI自动生成人物贴图的方法

1，技术功能介绍

该技术可以利用ai实现自动生成人物贴图，属于ai应用的一个细分领域。人物模型贴图是模型工作中通过将3D模型表面平移到2D图像上进行绘制的过程，在绘制人物贴图时，常需要耗费大量繁琐时间用来修图绘制。现在我们可以利用lora-scripts脚本训练专门属于人物贴图的lora来减少这部分工作的时间，减少技术人员的制作成本，从而提高工作效率。下面将以人物脸部贴图为例子，训练对应lora。并以生成人物面部贴图为目标，提升该细分工作效率。

Lora训练时用到的lora-scripts脚本训练为B站博主@秋葉aaaki提供的思路。

视频链接：【AI绘画】最佳人物模型训练！保姆式LoRA模型训练教程 一键包发布_哔哩哔哩_bilibili

 

2，应用方法

 在这个章节中，我们分为六个步骤来逐步讲解如何训练人物模型uv贴图lora，训练lora有一定的技术门槛，面向熟练使用Stable-diffusion的从业人员。

步骤1：

       首先需要收集大量的人物贴图，作为基础训练素材。在寻找训练素材的时候要根据解决的问题来选择对应素材，本次实验以人物脸部贴图为例子，因此收集的也是面部贴图。

       图片数量建议是30-100张左右，图片尺寸需要是统一大小的正方形，分辨率根据自己电脑的配置进行调整，常规情况素材的边长应该设置为512×512的正方形，如果电脑配置较好的情况可以选择提升至768，不过这也会增加计算时间。我这里设置的是512X512，之后将素材收集到同一个文件夹下。

步骤2：

       使用Stable-diffusion的图像预处理功能，为素材添加标注（tag），这里使用的是Deepbooru说明文字模式。如果素材数量足够，则不需要勾选“创建镜像副本”，反之可以提高素材的利用率。由于前面已经将图片进行裁剪，不需要勾选“分割过大的图片”和后两个选项。

       在训练完词条后，还需要对词条进行二次处理。

步骤3：

       常规情况下需要打开文本框对每个文本进行处理，但是使用BooruDatasetTagManager工具就可以进行批量修改标注，非常的方便。

       在对lora词条进行处理的时候，需要注意的一点是，需要把“能描述所有图像的通用词条”删除，留下“对单个图片特征描述的词条”，这样留下的词条可描述具体的图像。

       比如说，素材图片中，每个角色的年纪并不是相同的，那么在年老人物下留下“old”词条，年轻人物下留下“young”的词条。而删除“skin”这类能描述所有图像的词条。

步骤4：

       接下来就是设置参数进行跑图训练，参数这里先设置DAdaptation模式后运行一次，会生成一张运算图表，这样我们可以得到一个运算数值，这个运算值是这批素材的最佳学习率的参考值，将这个运算数值除以3就是我们这批素材的最佳学习率，这里我得到的最佳运算数值是6E-5，之后我们就可以使用windows powershell(终端运行)。

该步骤有一些程序方向的知识难点，详情问题可以参考B站博主@秋葉aaaki的视频教学。

视频链接：【AI绘画】最佳人物模型训练！保姆式LoRA模型训练教程 一键包发布_哔哩哔哩_bilibili

步骤5：

       LORA训练好后，放到Stable-diffusion对应文件夹后，就可以进入到应用阶段。因为我们这里的需求是针对模型生成贴图，所以需要给模型的UV进行定位，这里我使用的方法是利用positionmap（位置贴图），提取它的z通道深度信息，确定模型的形态和位置。利用WorldNormalmap（世界法线贴图）确定模型的光影。

从而得到一下两张图：

步骤6：

      在Stable-diffusion里加载训练好的lora模型，在ControlNet里面添加输出的WorldNormalmap（世界法线贴图）和positionmap（位置贴图）来减少运算偏差，保证生成的图像符合定位。添加对应的描述来控制生成效果，生成出有效的人物贴图。

到这里，人物贴图就能生成了。可以看到，人物uv贴图符合描述，定位精准。

 3，应用方法

1、收集图片素材最好是无光影，风格统一的素材，从而保证出图风格。

2、素材的的质量对最终模型效果影响很大，尽可能的寻找高清的素材。

3、图片的标注要认真筛选正面词和反面词。

3、需要格外注意的一点是，LORA标注是将正面词（需要的词）剔除，反向词（不需要的词）保留。

4、因为AI运算对电脑配置要求较高，所以要根据自己电脑配置调整参数，这中间可能需要多次调试。

 4，最终效果

我们将贴图贴回模型，可以看到契合度还是很不错的，有些地方做些微调即可。这个方法也适用于身体贴图的制作。

 5、结语

        虽然这只是一个细分领域的应用，但是ai对此的效率提升是可以真切看得见的，一点点的创意和研发添砖加瓦，一点点让ai融入我们的行业。最后带来的就是整个行业的颠覆和提升。

       感谢观看，未来我们也会尝试利用ID区分材质的方法来生成服装类型的贴图。优化ai在UV贴图生成上的效率。