0-1教你用StableDiffusion设计AI数字人

前言

畅想一下

“只要戴上耳机和目镜，找到一个终端，就可以通过连接进入计算机模拟的另一个三维世界，每个人都可以在这个真实世界平行的虚拟世界中拥有自己的分身。”——Neal stephenson在《雪崩》中如是写道。

随着Diffusion（扩散算法）的异军突起，AIGC（AI Generate Content）让曾经在脑海里的想象快速地成为具体的画面，每个人拥有自己的数字分身还是只存在电影或者小说里的桥段吗？虚拟偶像AYAYI、虚拟品牌代言人“花西子”、美妆数字达人柳叶熙、新华社AI合成主播-新小浩…技术新潮下数字人层出不穷。

但，普通人能有自己的数字分身吗？

▲ 虚拟数字人

为了探究普通用户做数字人的可行性，淘宝设计内容生态小组专门成立了AIGC小组，挑选了一位素人美女同事作为样本对象，帮她做一个AI数字分身！

▲ 淘宝设计内容生态组选中的AI幸运儿

为什么是素人美女呢？毕竟AI美女美得千篇一律像是流水线产物，而素人美女各有各的美丽。但如何捕捉真人的骨骼和个人特点，避免样本个例导致毫无置信度才是我们本次探究的关键！

那么结果如何呢？请看！

▲ 自己都有点分不清吧！

美女同事惊呼妈妈见了都觉得像的程度！不仅高度还原，还能美得出乎意料！

▲ Amazing

看来普通用户拥有数字分身大有可为。那么，分身后用户行为能发生哪些改变，又能带来什么样的体验呢？一起来看我们的创新体验探索吧～

01.

有了数字分身竟然可以

#开个脑洞🤯

数字分身，顾名思义包含用户的样貌、肤色肤质、身材特点等生理特质的虚拟人，也常被称为“数字孪生”、“数字人”等。

▲ 我的数字分身

未来可以不再退货？

想象一下，如果用分身去购物，是不是可以不再退货了。这好像听起来有点难以想象。就像以前人们想不到，原来要跑大老远去买东西，现在动动手指就能完成。

线上购物给我们带来便利的同时，也会带来一定程度上的烦恼。货不对版、尺码过大过小、尝试新风格总觉得别扭…每个人买到心仪的宝贝的背后，都一定有无数次的换货、退货。

上述的现阶段购物方式体验痛点，可以通过与我有相似外观特征的数字分身解决。

▲ 分身试衣

突破单点的购物动线

现有的用户购物动线，是以单品或单店的单点发散的。用户往往从某个商品卡片进入店铺，以此发现自己可能感兴趣的其他宝贝。但想搭配某个商品与另一个店铺的商品时，全凭不同的商品图或模特图进行脑补想象。

拥有数字分身后，能实现跨店多品搭配、现实场景化的选购方式。

▲ 超强代入感与真实感的购物体验

不仅如此，结合AI的数据分析能力，未来的线上购物体验能做到不仅适体，更合心意。

做你所想，无限可能

数字分身的潜力不仅仅在购物，还能提供无限可能的新奇体验，甚至给你新的生活方式的想象。

看到海边完美身材的自己，为了穿上曾经买了但美穿过的热辣短裙，下定决心坚持运动、吃干净又健康的食物，真实世界的自己也可以拥有更好的体魄。

▲ 海边辣妹

“如果我是男的，我都想嫁给我自己”可以不再是一句玩笑话，嫁给性转后的我自己，婚纱照都拍好啦。（没想到男版的我酷似周杰伦？

▲ 我嫁给我自己

如果这些还不够，你还可以旧时代的梦女郎、是异星球的不速之客、是拯救地球手持光剑的未来女战士。从过去到未来，你可以在任何时空、场景、甚至族群……

▲ 我的分身在平行宇宙无所不能

这些原来只存在脑海里的想象能够变成具体的图像、视频，未来可以成为淘宝逛逛里有趣的内容被更多人看到。同时，你可能会发现跟自己相似的人，你们可能有相似的脸庞、身材、品味、爱好…在淘宝，不再是完成个人购物，而是链接更广阔世界的可能。

02.

怎样才能拥有

# 一眼像，美三分的用户体验

这个解决方案的核心在于“一眼像”和“美三分”。如果“我”不像我，那再极致的体验都与我无关，“一眼像”是代入感的基础。同时，没有精致的布光和妆造，真实摄像头下的自己也很难有消费或创作欲望。因此，“像”并不是100%还原，在“一眼像”的基础上“美三分”是体验把控的重点。

对于普通用户而言，使用计算机图像学、类脑科学、语音合成、计算科学等聚合学科创设的具有多重人类特征的数字人实为无稽之谈。以StableDiffusion为例，创建仅外观特征相似的数字分身，在硬件设备、软件操作、模型训练及出图品质等各个方面都困难重重。那么，我们应该如何降低操作门槛，减少等待时长为普通用户构建数字分身呢？

▲ 普通用户构建分身难点

工具选择

选用当下最成熟火热的AI生成工具[Midjourney]，对比了二者的优劣势后，选用StableDiffusion作为主要的生图工具，其LoRA模型的训练能力能实现目标对象的多角度、高相似度效果。此外，Midjourney在生图难度低、速度快、质量高的特点可以用于场景构建。

▲ 工具对比

训练流程

首先，为了达成“像”的目标，我们把模型训练分为两步，一是人脸，再是身材。

▲分步训练

其中，在模型训练上只需要两步。第一步，我们需要收集30-50张自恋大赏作为人脸模型训练的数据集，然后再到Stable Diffusion里注入代码进行模型训练。

▲训练步骤

这样好像又很简单吼。但…

▲ 有没有搞错啊

实际上，LoRA模型的训练不仅需要足够多样化的数据集，还需要打乱数据集顺序并进行打标处理，避免AI连续学习相似图片导致过快拟合。然后，还需要进行LoRA模型最佳权重、泛化性等变量测试，选取兼顾真实感、相似度与美颜效果的参数组合。

▲ 变量测试

经过大量的的测试，最终确定了高相似度的基础上再美三分的成像效果，以保证用户又像又美的愉悦感受。

整理和输出教程属实不易，觉得这篇教程对你有所帮助的话，可以点击👇二维码领取资料😘

▲ 渐变色使用规律

先“人”一步预置模型

身材特征也是重要的外观特征，但身材数据采集是一大难题，受限于修身衣着与全身拍摄。

人脸特征是独一无二的，但身材特征是可以穷举的。我们把身材特征拆解为身高体重、三维数据与典型身材类型，通过用户数据微调与模型预置，就能在获得相似身材特征的同时减少用户操作成本与等待时长。

▲ 身材模型

同时，我们还可以预制开心、惊喜、沮丧、悲伤等表情模型，赋予数字分身鲜活的情绪表达，以此展开有生命力的互动。

▲ 情绪表情

03.

设计师的大锅是

美感转译

# 我说的美和AI理解的美

目前，AIGC还处于“开盲盒”、“抽卡”阶段，设计师需要调教AI，将美学感受转译为AI能理解的技术语言，让AI也能做出符合大众审美认知的优质内容。

美感标准建立

设计师还是AI的“训练师”，与AI的交互全靠prompt的构建。如何把设计师认为美的感觉描述给AI呢？在「合规」的基础上，确立「主体明确」、「合理自然」、「适度美化」的美感标准，构建及其对应的提示词库、嵌入式模型库，骨架模型库，以保证AI输出质量。

▲ 美感标准

prompt不是万能的，AI能识别的提示词也是有限的。我们把相同画面感受的图片作为数据集，训练嵌入式模型Embedding（把数据向量化，可理解为prompt合集），帮助AI理解更好地理解美感风格。

例如，我们可以在Midjourney中生成法式庭院的主题场景作为环境描述的数据集，再在StableDiffusion中训练相应的Embedding，以此控制场景的生成效果。

▲ 嵌入式模型库

为AI减负

当前的商品模特图中，有大量夸张动作、复杂场景设置以营造画面的生活感、氛围感。但复杂的人景关系、物体遮挡会极大提高生图难度。现阶段我们直接去掉这些画面构成类型，以减低劣图、破图出现造成的用户负向感受。

▲避免复杂画面构成类型

同时，将人体姿势归总为站姿、坐姿两大类，将姿态自然的姿势用 3Dopenpose生成骨架模型，结合ControlNet插件控制人物姿势。

▲ 3D openpose骨架模型

将画面构成分为人体、背景两层后，就能更加明确主体，从而生成高质量图片。

▲ 画面构成

🤤

is that possible…

那是不是可以…

可以预见不久后，数字分身不仅可以还原外观，还能在行为表达、思维决策上也更“像样”。而基于MR（空间交互）、LLM（自然语言交互）等人工智能技术的发展，又会有全新的交互方式和产品形态，崭新的时代即将到来。

随着技术的革新，梦想照进现实，是不是有一天，我的分身可以帮我画稿子…

▲ 其实已经能画啦

数字分身不算一个新颖的概念，我们在太多电影桥段里看过类似的场景，同时我们也深知背后还有着巨大的实现成本和数据安全合规等卡点，但充足的设计储备会带着我们不断向前。

对于设计师而言，方案构建的初衷绝不是为了追赶技术热点，而是思考如何巧妙地应用技术并解决用户问题，并不断推进用户体验的提升，那些原来不可能的事发生，让理想的生活简单又美好。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的AIGC全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】