AIGC： stable diffusion 精品数字人背景生成

最新推荐文章于 2024-06-15 17:52:30 发布

码农必胜客

最新推荐文章于 2024-06-15 17:52:30 发布

阅读量905

点赞数 7

文章标签： AIGC stable diffusion 人工智能

本文链接：https://blog.csdn.net/xiaolinyui/article/details/139151387

版权

本教程主要旨在分享如何利用stable diffusion为带模特的产品图更可控性的更换模特和背景,注意这是一篇进阶教程。先来展示下结果

在这里插入图片描述

原图

在这里插入图片描述

开始：

1.准备素材，原图，产品蒙版，手涂背景。（蒙版用于保留产品，因为我希望改变裤子变成牛仔裤，也方便AI识别以免出现崩坏也改变了裤子颜色，手绘色块背景配合关键词改变背景）

在这里插入图片描述

2.打开stable diffusion 图生图局部重绘上传模板模式，这里主模型我选择了chilloutmix,虽然是一个女性模型但是他的环境生成光感还是很不错的,配合人物lora模型blond boy ,asian sexy girl控制性别倾向,两个建筑模型deconstructismModel,插画风建筑zarch_illustration模型进行一定程度的建筑风格控制，注意二维的模型也是可以插入但是最后结果变写实的。

在这里插入图片描述

3.设置好关键词，上传素材，模板，设定好ctrolnet,开始跑图（我这里只设定了canny 和 depth,为了保证一定的随机性和成长性都权重比较低）
关键词数据：
(8k, RAW photo, best quality, masterpiece:1), (realistic, photo-realistic:1), ultra-detailed, (high detailed skin:1), 8k uhd, dslr, soft lighting, high quality, film grain, blondboy, men person, low camera, chin up, looks into viewer, fashionmuseum lora:BLONDBOY:1,short hair, ,Cyberpunk techwear streetwear look and clothes, we can see them from feet to head, highly detailed and intricate, beautiful bright colors, futuristic, cyberpunk setting, luxury, elite, cinematic, techwear fashion, errolson hugh, sacai, nike acg, yohji yamamoto, y3, acronym,white shirt, jeans,giant museum Negative prompt: EasyNegative,((blurry)), (worst quality:2), (low quality:2), (normal quality:2),((ugly:1.3)),((monochrome)), ((grayscale)),skin spots, acnes, skin blemishes, age spot, glans, word, watermark,exposed long neck,nude,bare chest,umbrella Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 5,
为了配合改变裤子和背景这里也添加了牛仔裤和巨型博物馆的关键词

在这里插入图片描述

总结
在产品数字人重绘过程中，需要注意几点，第一使用蒙版重绘保留产品，（一般产品都是定制化的无法在主模型中精确的保留，这个问题也体现在机械结构车辆或者产品等的lora重建当中例如midjourney等等车图），第二利用手绘定制化背景图结构配合关键词相对精确的改变着装风格（注意颜色，一定程度上ai对图像的重绘是会基于已有的图像去做联想的，所以也就会影响最终生成的背景的构图结构，所以也会出现类似的头发颜色侵染问题，当然也有解决办法而且常规来说有时也是不错的结果），第三利用controlnet，对人物动作固定。第四利用addition network lora 模型改变建筑风格，着装风格，控制角色性别倾向，人物2.-2.5D-cg-写实的风格控制。（一定程度上高清重绘的迭代次数也会影响这一倾向）