人工智能实战：Stable diffusion在角色中的应用

前言

随着AIGC的发展，技术的发展不断引领着创新的方向，而 StableDiffusion 作为一款融合了人工智能与艺术的绘画软件，正为我们带来前所未有的设计可能性。本篇文章将探讨Stable diffusion在角色设计方面的应用。分别从概念设计、角色设计、角色细化、角色服装四个方面来介绍，并给予实例分析。

一、概念设计

a. 设计需求：设计几组机甲角色，主要是机甲的特点以及各个级别细节的变化。

b. 模型准备：当接到类似于这样的需求时，最快速的方式就是根据描述去模型网站，寻找是否有符合要求的模型，常用的模型网站包括Civita和LibilbAI。本次主题是机甲类型，在模型网站以mecha为关键词进行搜索，最后确定的模型Stable Diffusion ckpt:hello mecha,LoRA模型：cute robota、机甲战士Mecha warrior.

c. 提示词描述：按照主体、风格、色调、背景、高清、额外细节、光影、LORA的调用来描写提示词，通过反复修改，确定最终的提示词模板，按照模板再去修改特定的颜色和细节。以下为本次角色设计的提示词基本模板。
正向提示词：yellow robot,mecha,cute,,no humans, white background, solo, science fiction, non-humanoid robot, standing, orange eyes, simple background, soft light. <lora:cute robota_v1:0.7>, <lora:Mecha warrior Mecha_20230621092507:0.4>
负面提示词：bad-artist-anime bad-hands-5 bad-picture-chill-75v bad_prompt_version2, FastNegativeV2,(bad-artist:1),(worst quality, low quality:1.4),(bad_prompt_version2:0.8),bad-hands-5,lowres,bad anatomy,bad hands,((text)),(watermark),error,missing fingers,extra digit,fewer digits,cropped,worst quality,lowquality,normal quality,((username)),blurry,(extra limbs),bad-artist-anime,badhandv4,EasyNegative,ng_deepnegative_v1_75t,verybadimagenegative_v1.3,BadDream,(three hands:1.6),(three legs:1.2),(more than two hands:1.4),(more than two legs,:1.2),label

通过调整两个LoRA的权重发现，随着两组lora的权重发生偏移时，机甲形态也相应的发生变化，通过筛选，确定了一组比较符合主题的机甲。

d. 特征细化：为了在原本的基础上提升提升机甲的特点，使用Controlnet中的canny模型控制角色大致轮廓，使用depth模型控制图像深度，权重值均给了0.8，这样做的目的是为了能在原有的基础上有所发散，并且在提示词中加入动物元素和控制色彩的提示词来进行特征强化。

e. 成果展示：

二、角色设计

a. 设计需求：参考图片姿势，去设计一个Ai指导员的角色，衣服材质能够体现科技感，并且对人物表情有一定的需求。当接到这样的需求时，第一步就是拆分需求，可以将这个需求拆分为动作、神态、材质表现。

b. 动作调整：对于openpose来说，直接输入2D图像是无法识别姿态图（如示例图）,为了获取姿态图可以通过以下二种方式获取。方式一，收集类似姿态的人物摄影图，尽量有清晰的人物结构关系，特别是四肢躯干。方式二，通过三维软件去调整一个基本人物的骨骼获取动势，这种方式更自由可控。

c. 表情与材质调整：这个部分的调整均使用了局部重绘功能，可以在确定大框架的基础上进行局部调整。具体操作上以表情为例，通过画笔将脸部区域涂抹，改变表情相关的提示词从而对人物表情进行更改。同理人物的镭射衣物材质也是使用相同的方法，通过调用一个已有的训练好的镭射材质LoRA，来改变的衣服质感。

三、角色细化
a. 设计需求：在生产过程中常常会遇到角色细化的需求，例如角色的配饰，衣物材质等等。对于这种需求常规做法，就是去找需求对应的素材进行特定的LoRA模型训练，然后调用训练的模型进行图生图或者局部重绘。以下使用一个绒毛质感需求的案例进行说明,需要给衣物的围脖处增加绒毛质感。
b. 素材收集：按照美术要求，收集大量的素材，素材包括毛发纹理，毛发衣物等照片，图片尺寸尽量统一。

c. 细节调整：使用一件平滑质感的衣物进行测试，使用图生图调用训练的绒毛LoRA,可以生成如图的结果，产生了羊羔绒的质感。具体可以再调整LoRA权重和重绘幅度获得理想的结果。

四、角色服装

a. 设计需求：在游戏服装设计过程中需要进行概念设计/质感细化的需求，需要定制大模型或者LoRA模型对设计稿进行一些细化。

b. 训练素材处理：训练素材由一般由项目提供，图示案例由收集的网络素材训练而成。训练前筛选出服装裁切特征明显的图片，并且将背景填成纯色，调整图像的亮度与对比度，训练步数一般设置为100-200步。

c. 模型训练：模型训练使用Kohya，支持大模型和LoRA模型的训练，具体的训练参数详解可以参考搜狐引擎部Stable Diffusion技术分享文章。

d. 模型验证：该步骤也是提交给项目重要的流程 ，分别通过文生图和 图生图两个方面进行验证。首先是文生图其目是提供衣服裁切样式的概念设计 ，主要检查模型是否过拟合 ，直观的方式就是一次生成多张图片 ，观察衣服的裁切样式、配色、质感等是否多样。 图生图的目的 主要是进行人物的细化包括例如金属质感、布料质感的细化以及光影的塑造。

欢迎加入我们！

感兴趣的同学可以投递简历至：CYouEngine@cyou-inc.com