数字人调研1.0

最新推荐文章于 2024-10-03 09:02:12 发布

___________!

最新推荐文章于 2024-10-03 09:02:12 发布

阅读量135

点赞数

分类专栏：小爽的爱尔实习文章标签： python 人工智能

本文链接：https://blog.csdn.net/Cool__Yang/article/details/132294636

版权

小爽的爱尔实习专栏收录该内容

7 篇文章 0 订阅

订阅专栏

数字人背后的技术

知乎链接：http://什么是数字人？ - 量子位的回答 - 知乎 https://www.zhihu.com/question/334387436/answer/2350208185
发表时间：2022-02-16

1.定义

数字人是指数字形态的人。一方面，数字人离不开3d建模、图像渲染、多模态生成等技术，只能生活在数字世界里。但同时，数字人在表情、动作、行为上都和真人非常相似。特别是，像Code Miko那种高保真类的数字人。

2.技术路线

技术路线分为两类：一是中之人的真人驱动型；二是依靠深度学习，可以靠AI模型自力更生的计算驱动型。

真人驱动型数字人

1.三大要素：数字人模型，动作捕捉设备，带着设备驱动模型的真人（中之人）。

2.实现：
（1）构建数字人模型：3D，2D，卡通，动漫，高保真等。
（2）模型绑定关键点：基于这些关键点，动作捕捉设备会捕捉真人的眼神、形态、动作等，用来1：1驱动后面的数字人模型。关键点的数量和位置合不合适是会直接影响到驱动的质量和最终的成品的。
（3）真人表演操作：穿上动捕设备的真人，需要按照需求来表演、回答、对话等。
（4）动捕驱动、语音转化、图像渲染。

3.关键：动捕设备的发展——从专业级走向消费级。随着图像识别算法和驱动算法的进步，光学动捕也能有效地进行捕捉，比如使用深度摄像头、RGB摄像头来驱动数字人模型。

4.应用：Vtuber和虚拟偶像，VR会议。

计算驱动型数字人

1.应用：APP和一体机上的虚拟客服，7*24小时带货的虚拟主播，播报新闻的虚拟主持人。

2.实现过程：
（1）构建数字人模型
（2）模型关键点绑定
（3）构建基于语音的深度学习模型：
①打点扫描：全面采集真人说话时的唇动、表情、姿态和动作等，为构建深度学习模型提供丰富且充足的训练数据。打点的精度和数量，扫描时数据与场景的丰富程度，都会直接影响最终效果。
②建立语音驱动模型：基于深度学习和上一步的数据机器能够学习语音、唇形和各类表情参数之间的关系，进而得到多个以语音为基准的驱动模型。驱动的角度越多，生成的数字人效果就会越自然越生动。将驱动模型组合起来，就能得到超过千种的数字人表情效果了。

3.实际使用：
（1）首先，基于TTS技术将输入的文本转化为语音；
（2）再基于各类驱动模型，生成和当前所对应的唇动、表情、姿态等，逐帧组合图片；
（3）最后，把这些图片按照时间戳排序，再加上一定的NLP能力，就能渲染出数字人视频或实时互动了。

4.重要的技术要素：NLP，CV，TTS，CG建模的细致程度，驱动模型的精细程度，物理引擎与情感模型，模型个性化程度等等。

数字人和人工智能

链接：https://www.zhihu.com/question/334387436/answer/2955365894

1.虚拟数字人主要有以下三个特征：

（1）拥有人的外观，具有特定的相貌、性别和性格等人物特征；
（2）拥有人的行为，具有用语言、面部表情和肢体动作表达的能力；
（3）拥有人的思想，具有识别外界环境、与人交流互动的能力。

2.根据核心功能和需求的不同，虚拟数字人分为：

（1）身份型数字人（内容/IP型数字人）：强调身份性，一类是线下特定自然人在虚拟世界的“分身”，比如谷爱凌的分身“Meet GU”以及龚俊的数字人等等。另一类则是完全虚拟的形象，比如洛天依、初音未来等虚拟偶像以及柳夜熙、Imma等虚拟网红。
主要应用于市场营销、品牌宣传等场景，帮助企业打造具有艺术性和IP影响力的数字人形象，在品牌和业务上为企业代言。比如虚拟偶像、品牌IP、企业代言人。
注：IP，intellectual property知识产权。
（2）服务型数字人：强调功能性，旨在为用户提供更加贴心的服务。
主要应用于各行业的企业服务场景，如金融、文旅、零售、电商等，有效地降低企业成本，在部分企业服务场景中由数字人代替人工为客户提供自动化、智能化和标准化服务。比如数字员工，虚拟主播，数字讲解员。

3.数字人与人工智能的区别

（1）呈现形态区别：
①数字人：主要通过数字化技术来模拟真实人类的行为和语言，是一种模拟人类自我意识和行为的虚拟人，拥有类似人类的认知、行为和交流能力，可以与人类进行沟通和互动。
②人工智能：利用计算机和机器学习算法等技术，使计算机系统能够像人一样进行思考、推理、学习和决策的能力。具有类似于人类的思维能力，能够自主学习、推理和解决问题。

（2）应用领域区别：
①数字人：更加人性化和生动，可以在许多常见领域中发挥更具体的作用。主要应用于虚拟人物、虚拟演员、游戏人物、虚拟客服等方面。
②人工智能：更注重解决复杂的理性问题，在实际中应用广泛，例如智能语音助手、自动驾驶、医疗影像分析等领域。

（3）技术实现区别：
①数字人：需要借助计算机图形学、机器学习等技术，从真实的人物数据中获取信息，然后进行数字化建模；
②人工智能：主要依赖于机器学习、深度学习等技术，通过模拟人脑的神经网络实现模式分析、分类等任务。

4.总结

数字人和人工智能虽然都涉及到人类智能的模拟，但是两者在本质、应用场景和技术实现等方面都有所不同。未来，随着人工智能和数字人技术的不断发展，它们也将在不同的领域和应用中发挥出各自的优势。数字人与人工智能在一定程度上是相互依存和相互促进的关系。数字人的出现和发展使得人工智能更贴近人类的需求和实际，更加符合人性的特征和要求，从而更易于得到人类的接受和支持。而人工智能的快速发展和应用将为数字人的实现和发展提供更加先进和广泛的技术支持和应用场景，使得数字人能够不断发展和改进，更好地服务于人类的需求和利益。

数字人技术侧重技术应用，人工智能侧重理论研究。

数字人和元宇宙

数字人：元宇宙背后最核心的技术。元宇宙（Metaverse），正是一个庞大的虚拟数字世界，数字人在将会其中扮演非常重要的组成部分。
数字人主播可以作为品牌先行试水元宇宙的切入口和纽带。
随着人工智能技术的进步、元宇宙概念的火热，未来虚拟数字人的落地场景与应用范围将会越来越广，并且数字人定制的成本与时间也会逐渐降低！