魔搭推出教程!AIGC在影视与游戏行业应用

 Datawhale学习 

实践:AI+视频制作,出品方:魔搭社区

随着生成式人工智能技术的发展和应用,影视与游戏行业也迎来了AI化的时代。AI不仅能更高效地完成图片、视频等多媒体作品的制作工作,还可以创造更加逼真、精细的视觉效果。魔搭社区结合社区出圈的AIGC应用能力,推出《影视与游戏行业AI视频制作实战》系列教程,将通过多个章节帮助大家快速且免费地使用开源模型和应用玩转AI视频创作。

下面我们开始第一步,角色形象设计一致性。

01

需求分析

1、人脸一致性:

角色无论在不同的时间点或场景中出现,都能被识别为同一人物。这要求角色的面部特征保持高度一致,确保观众能够无缝地识别和跟踪角色。

2、服化道一致性:

角色的服装、化妆和道具设计应保持一致性,这不仅适用于单个角色,也适用于多个角色之间的相互关系。这种一致性有助于构建一个连贯的剧情背景,增强观众的沉浸感和故事的可信度。

02

工具实测-使用预设风格

使用工具:

 https://www.modelscope.cn/brand/view/FaceChain/branch=0&tree=3?branch=0&tree=1

预设风格如下:

561c6ef64ace9f79ceba4112db347c9c.png

选择部分风格实测:

服化道

小美

小帅

初始值:AI模特

普通T恤,纯色背景

030615ee76b219598c8f68e15c8a9658.png

3547247dcda8ee6d6c6aca3165e9bf7f.jpeg

宇航员服,漫游天空场景

ac8278d1b8d7b18b8e394f996c437057.jpeg

21fe9cd94ea20ae31198efc1e69f2be7.png

机械服,赛博朋克场景

ff8b8675f41524f0372954d551f7c5e2.png

24026ab163d01ba2403bf2ad1c42d108.png

漫画风格,咖啡馆场景

e50063ba0861c26563c75923181fdd6d.jpeg

6a44a122f33778a0d37c1124531c9b0c.png

西部牛仔风,沙漠场景

92f061dbbc52c8d9f02a641b10e85994.png

658ae9750b5b5646614e954db7b1e9bf.png

藏族服饰风格,雪天场景

cf6d3e56379aa14eb504a73171553557.png

efd5b010be7df8d0a32e9095dc841d24.png

评测:

  • 无论服化道如何变化,人脸总是保持一致,具备极强辨识度

  • 无论服化道如何变化,角色之间的风格也可以统一,满足画风一致性的需求

03

工具实测-DIY风格

如果预设风格不满足剧情设计,那么就需要来亲手训练一个LoRA风格,目前提供可视化界面的训练方式,零代码也可以完成。

使用工具:

https://www.modelscope.cn/brand/view/FaceChain/branch=0&tree=3?branch=0&tree=0

1、训练方式

  • 上传风格参考图

d9e1c86e955ec08eea507d626b77d63d.png

  • 确定标签词:每一张训练图片对应一组标签,风格lora模型会学习图片和对应标签的关系,提供了系统自动打标签方式,也支持手动修改,高频标签词会自动出现在写真生成的提示词中。

888c3f17011163c43173d9bd0b6d4772.png

  • 设定触发词后开始训练:用户输入触发词后,系统会把它添加到每张训练图片的标签词里,方便lora建立触发词和风格的联系,后续也会自动出现在写真生成的提示词中。

508e4b716ad31075ee0429fcdc11c29d.png

2、效果实测

风格描述

小美

小帅

武侠风格

7f5849f413b4c68fef1086cbc40954a0.png

53cbddcf9248191a8e051436b4290c7e.png

民国舞会风格

4962594cc7265b79a1242a241d7479eb.png

7cb58f6df321e744064cb226a515a023.png

民国学生服

0cf048da80474a85e17de3251537165c.png

6078d5c548ef40ff5f34c20aad453a38.png

高中校园风

1c41be513d44a4bd114dcd2cbbce84eb.png

dfc3207f824191a509c89dd033d0fbcf.png

毛毡风格(奇幻场景测试)

ceac2870571eb961c882b0f150cdcd6e.png

2b80cb76b2aa74afa2adce49ab8c5374.png

评测:新训练的LoRA效果与预制的风格一样好,可无限拓展~

04

训练出满意的LoRA风格可参赛

https://www.modelscope.cn/brand/view/FaceChain?branch=0&tree=3(点击阅读原文即可参加)

05

更多期待

  1. 角色形象设计目前主要集中在上半身,希望可以通过基模优化+controlnet,更好支持到全身、侧身,同时也支持更多图片尺寸及分辨率

  2. 角色形象设计目前只支持单人版,希望支持多个角色形象同框展示

  3. 角色形象设计目前主要集中在写实分格,希望拓展更多非写实风格(举例水墨画风格、黏土风格等),兼具人脸相似度和风格统一性。

如果有相关突破,

可以提交github issue:https://github.com/modelscope/facechain  

或者入群交流新技术发展:

FaceChain开发群(钉钉扫码)

74807c2382b93e8a0eb8e487d05b4911.jpeg


👇点击关注ModelScope公众号获取

更多技术信息~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值