unity动作捕捉自学内容整理

Doggerlas

已于 2023-08-15 10:51:27 修改

阅读量1.9k

点赞数 4

分类专栏： Unity3D入门教程文章标签： unity 游戏引擎动画

于 2023-04-22 22:18:33 首次发布

本文链接：https://blog.csdn.net/weixin_44848751/article/details/130311235

版权

Unity3D入门教程专栏收录该内容

3 篇文章 2 订阅

订阅专栏

SMPL模型

模型讲解

讲解链接1
讲解链接2

尝试一：使用pyrender进行渲染

尝试一：使用pyrender进行渲染

尝试失败

尝试失败：和链接2是同一作者试了程序但是代码是用py2.7写的还需要安装chumpy 而且他的展示方式是pyrender 遂放弃继续搭建环境本次尝试作罢

尝试二：python3.8+numpy1.23将pkl转换为obj

尝试二：python3.8+numpy1.23将pkl转换为obj

SMPL官网提供了两个pkl模型(男人和女人)，这种模型无法直接使用，需要对文件进行解析。由于论文时间很早，官方给出的解析方法依赖python2.7和chumpy库。为了方便实现以后使用，可以用python3.8+numpy+chumpy将pkl转化为obj网格模型。

1、在SMPL官网下载基于python2.7解析的pkl模型

SMPL官网

注意：下载要在此网站上注册账号。
在这里插入图片描述

千万不要下载错了，下载成v1.1.0的模型会导致后续执行smpl_np.py失败。出现点乘计算错误。

2、下载python源码3.8并配置环境

用python转换文件的原github地址请参考这里

需要说明的一点是，github在“Usage”中提到，官方pickle模型包括chumpy对象，预处理脚本prerocess.py需要chumpy去提取模型。但是pip版本过高安装不了chumpy。需要稍微修改下chumpy源码并进行手动安装。并给出了以下参考博客：

https://blog.csdn.net/qq_28660035/article/details/81319055

但是这篇博客也发布很久了。他告诉我们要用以下方法用pip安装chumpy：
在这里插入图片描述
实际上，早在2020年8月，chumpy经历过版本升级。兼容了更高的pip版本。已经不需要再改源码了。

说了一大堆，其实就是想说无论用的是什么pip版本，直接pip安装chunmy就好。

下载完源码后，使用anaconda创建一个python3.8的环境，并安装numpy、scipy和chumpy包。

conda create -n SMPL python=3.8
conda activate SMPL
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy scipy 
pip install chumpy

可能遇到的问题：ImportError: cannot import name ‘bool’ from ‘numpy’
在这里插入图片描述

这是由于numpy版本过高，降级到1.23即可

pip install -i  https://pypi.tuna.tsinghua.edu.cn/simple numpy==1.23

3、运行并测试
首先运行预处理文件，将1.1下载的basicModel_f_lbs_10_207_0_v1.0.0.pkl和basicmodel_m_lbs_10_207_0_v1.0.0.pkl都放到源码目录如下：
在这里插入图片描述
anaconda中执行：

python preprocess.py basicmodel_m_lbs_10_207_0_v1.0.0.pkl

会在当前文件夹下生成一个model.pkl文件。相当于将chumpy能解析的pkl文件转化为numpy可以解析的pkl文件。smpl_np.py 和smpl_tf.py都依赖于model.pkl。
继续执行

python smpl_np.py

会在当前路径下生成smpl_np.obj文件。就可以供后续使用了(Meshlab演示)。
当然也可以参照上述说明解析basicModel_f_lbs_10_207_0_v1.0.0.pkl
在这里插入图片描述

项目中的其余文件说明:
smpl_tf.py：使用TensorFlow将pkl转换为obj
smpl_torch.py：使用Pytorch将pkl转换为obj
smpl_torch_batch.py：使用Pytorch按批量将pkl转换为obj
test.py：测试所有脚本
SMIL_torch_batch.py：使用Pytorch按批量将pkl转换为SMIL模型的obj

以上文件均为测试，感兴趣的读者不妨自己配置环境试下

尝试成功

尝试成功：项目地址位于D:\WLm_Project\SMPL\python
在conda的SMPL环境中可以直接运行preprocess.py和smpl_np.py脚本，输出smpl_np.obj。这是标准的SMPL模型的TPOSE

尝试三：unity中使用SMPL模型

尝试三：unity中使用SMPL模型

尝试成功

尝试成功：项目地址位于D:\WLm_Project\SMPL\unity
在这里插入图片描述

这个unity工程直接由SMPL官网给出，直接下载即可。此项目兼容2021.3.11f1c2编辑器，可用此编辑器重新编译并运行。
在这里插入图片描述

SMPL-unity

BVH

代码分析

讲解链接

尝试一：用unity读取BVH文件并做蒙皮

尝试一：用unity读取BVH文件并做蒙皮

尝试成功

尝试成功：项目地址位于D:\WLm_Project\BVH\unity_BVHParser
在这里插入图片描述
可用D:\WLm_Project\BVH\标准BVH文件去驱动任意的obj文件。

使用方法

使用方式见此。驱动新obj主要修改以下三个选项：

target avatar：模型名称
Bonemap，即关节点对照表(unity骨架名称和给定bvh的对应关系)目录：D:\WLm_Project\Unity\Unity_project\BVH\Assets\BVHParser\Resources\Bonemaps.txt
filename，即bvh目录：D:\WLm_Project\Unity\Unity_project\BVH\Assets\BVHParser\Resources\bvh\13_29.bvh

不知道怎么修改可以参考Pumpkinhulk L Shaw的三属性

在这里插入图片描述

BVH

此方法有重大不足：只能读取初始姿态是T-pose的BVH数据，也就是我们自己的数据是读不了的

尝试二：用C++和freeglut读取BVH文件

尝试二：用C++和freeglut读取BVH文件

尝试成功

尝试成功：项目地址位于D:\WLm_Project\BVH\LoadandDisplayBVH

bvh-freeglut

使用方法

运行程序后直接按L导入标准BVH文件即可。
此方法仍然存在重大不足：只能读取初始姿态是T-pose的BVH数据，也就是我们自己的数据是读不了的

unity的TCP通信

原理讲解

Socket通信

尝试一：用unity实现客户端服务端的信息收发

尝试一：用unity实现客户端服务端的信息收发
提取码：e50n

尝试成功

尝试成功：项目地址位于D:\WLm_Project\TCP
在这里插入图片描述

使用方法

同时启动两个项目，更改ip。服务端和客户端收发信息会在另一端显示
在这里插入图片描述

unity骨骼动画

找了很久没有找到骨骼动画的完整教学，只能在网上西拼八凑找资料整合到一起记录下。作为学骨骼驱动的入门资料。这部分参考了很多帖子，代码。会在文章末尾一一给出链接。

概述¹

3D模型(Model)是由一个个三角形组成网格(Mesh)模型。
在这里插入图片描述
骨骼(Skeleton)是驱动模型运动的根本，如下图所示，是一堆彼此之间有父子关系的节点相连：

让模型跟着骨骼一起运动，这个骨肉融合的过程称为绑定，具体要做的事便是将某节骨骼与相关的网格建立关系：
在这里插入图片描述
如上图所示，模型上有着不同的颜色，这表示该节骨骼所影响到的网格权重值（蓝色为0，红色为1），所以绑定也俗称“刷权重”。权重值越高，该节骨骼对相应网格的影响便越大（存在多节骨骼对相同网格存在影响，此时便要通过权重值来决定优先级）。

模型与动画¹

以unity常使用的动画格式FBX为例，假设动画FBX文件里只有骨骼与动画信息，不含模型，我们希望用多个模型复用相同的FBX动画。换句话说，就是希望用这个FBX文件驱动不同的模型做同一种运动。这就会涉及到Unity里的两种骨骼动画模式：Generic与Humanoid。

Generic

在这种动画模式下实现复用的思想很朴素：只要模型的骨骼与动画的骨骼要素相同（也就是FBX文件中骨骼信息（名称和个数等）和模型的骨骼信息一致），那么复用便是水到渠成的事了。但是这会导致难以使用第三方资源。因为模型的创建可以由多种软件实现，并无统一的标准。

Humanoid

⁴为了让单个动画可以通用于多个不同的人型模型上，Unity官方开发了一套骨骼重定向系统，把不同人型模型的骨骼映射到一套通用的骨骼映射上(下图)，然后再让动画去驱动这个通用的骨骼映射，从而实现驱动不同的模型。这是一种专为人形设计的动画模式。只需要把模型导入到Unity，就能自动生成骨骼映射（在Unity里是一个Avatar文件）。

Avatar文件

Avatar文件主要保存的是骨骼的映射关系。右侧的人体里的每一个圆点代表着一个关节点，Optional Bone下面左边那一列就是Unity里设定好的关节点的名称，它们在每个Avatar文件里都是一样的，而右边部分就是当前这个模型的骨骼节点，Unity已经帮我们映射好了它们与通用人型骨骼的对应关系。当我们把这个Avatar映射文件赋值给Animator后，Animator就会去驱动固定的那些骨骼信息点，而这些固定的骨骼信息点就会去根据它们和模型真实骨骼的映射关系找到真正需要驱动的骨骼点，从而对其进行驱动，最终整个模型就动起来了。⁴
在这里插入图片描述

Aimator组件²

这个帖子²介绍的很详细可以按照这个博主的方法实操一遍强烈推荐

Animator的创建

创建一个实例Cylinder
在这里插入图片描述
选中 ctrl+6 创建Animation 名称为New Animation.anim

此时在当前Asset下会出现与实例同名的控制器Cylinder.controller 和刚创建好的动画New Animation.anim

同时在左侧也会自动出现Animator组件

Animator 组件从上到下分别是：控制器，化身，应用根运动，更新模式（Normal是法线），剔除模式（括号里是总是动画化）³

Animator Controller

在生成的Animator组件上, 第一个Controller参数在创建Animator时已经被赋值了，可以点击该值，并切换到Project窗口下，会发现这个 Controller对应的文件是一个.controller文件。
Animator Controller就是动画控制器，负责在不同的动画间切换，属于制作动画效果的必备原件。
在这里插入图片描述
注意，你也可以通过GameObject上的 Add Component添加一个崭新的 Animator组件，但是这种情况下 Animator的 Controller参数默认为空，所以需要我们手动将事先准备好的.controller文件拖拽到该参数位置，动画控制器才能正常工作。可以直接创建一个空的controller
在这里插入图片描述
双击 .controller"文件，会弹出一个 Animator窗口，该窗口中显示的就是动画控制器文件中的所有内容

Animator Clip

在Project窗口右键单击，选择Create->Animation也可重新一个Animation Clip（.anim文件）命名为New Animation2.anim
在这里插入图片描述
再把New Animation2.anim文件拖拽进Animator窗口，作为Animator Controller的一个状态（State）

通过Animator创建出来的Animation Clip无法直接通过挂Animation组件进行播放，如果强行播放，Console会报一条警告信息：

把Inspector切换为Debug模式可以看到Animation Clip有个Legacy勾选框 Legacy是遗产的意思，也就是传统的通过

Animation组件来播放Animation Clip的做法，如果使用Animation组件来播放Animation Clip，则必须把Legacy勾选上，不过这种方式已经是过时的做法，推荐使用Animator来播放Animation Clip。(没用过老版的不太明白这句话)

在这里插入图片描述

状态机的状态（State）

每个Animator Controller都会自带三个状态：Any State, Entry和 Exit。
在这里插入图片描述
1、Any State状态
表示任意状态都有可能切换到的特殊状态。例如我们如果希望角色在任何状态下都有可能切换到死亡状态，那么Any State就可以帮我们做到。当你发现某个状态可以从任何状态以相同的条件跳转到时，那么你就可以用Any State来简化过渡关系。

2、Entry状态
表示状态机的入口状态。当我们为某个GameObject添加上Animator组件时，这个组件就会开始发挥它的作用。

如果Animator Controller控制多个Animation的播放，那么默认情况下Animator组件会播放哪个动画呢？由Entry来决定的。
但是Entry本身并不包含动画，而是指向某个带有动画的状态，并设置其为默认状态。被设置为默认状态的状态会显示为橘黄色。(比如上图默认状态就是New Animation)
当然，你可以随时在任意一个状态上通过鼠标右键->Set as Layer Default State更改默认状态。

记住， Entry在Animator组件被激活后无条件跳转到默认状态，并且每个Layer有且仅有一个默认状态。
在这里插入图片描述
3、Exit状态
表示状态机的出口状态，以红色标识。如果你的动画控制器只有一层，那么这个状态可能并没有什么卵用。但是当你需要从子状态机中返回到上一层(Layer)时，把状态指向Exit就可以了。

在Inspector窗口下观察Animator clip动画文件.anim具有的属性
在这里插入图片描述

在这里插入图片描述

状态间的过渡关系(Transitions)

状态间的过渡关系(Transitions)，直观上说它们就是连接不同状态的有向箭头
要创建一个从状态A到状态B的过渡，直接在状态A上鼠标右键 - Make Transition并把出现的箭头拖拽到状态B上点击鼠标左边即可。
在这里插入图片描述

状态控制参数

添加状态控制参数：参数有Float，Int，Bool，Trigger。

Float、Int用来控制一个动画状态的参数，比如速度方向等可以用数值量化的东西，
Bool用来控制动画状态的转变，比如从走路转变到跑步，
Trigger本质上也是bool类型，但它默认为false，且当程序设置为true后，它会自动变回false。
在这里插入图片描述
如下这里创建一个Int类型的参数AnimState

编辑切换状态的条件

点击连线，在Inspecter窗口中可以进行设置，在Conditions栏下可以添加条件，如下图表示当参数
AnimState为0时会执行这个动画New Animation到New Animation2的过渡(这个AnimState可以想象为血量阵亡了就切换状态)

必须在Parameters面板中添加了参数才可以在这里查看到，其次添加的条件为&&”与”关系，即必须同时满足。
在这里插入图片描述
可以通过代码来设置条件状态，达到动画切换的目的

//设置参数AnimState为0
Animator ator = go1.GetComponent<Animator>();
ator.SetInteger("AnimState", 0);

检查动画状态是否为jump

方法1、使用API AnimatorStateInfo

//检查是否正在播放jump动画.
AnimatorStateInfo stateinfo = anim.GetCurrentAnimatorStateInfo(0);   
bool playingJump = stateinfo.IsName("jump");
if(playingJump)
{
	if(stateinfo.normalizedTime < 1.0f)
	{
		//正在播放
	}
	else
	{
		//播放结束
	}
	
}

方法2、继承StateMachineBehaviour
Animator的每个状态都可以挂载脚本，创建脚本，继承于StateMachineBehaviour类，用于检测状态机中动画切片(Anamation)的运行状态。在这里插入图片描述
将脚本挂载在对应的状态上即可。

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class JumpState : StateMachineBehaviour
{
    private GameObject player;


    override public void OnStateEnter(Animator animator, AnimatorStateInfo stateInfo, int layerIndex)
    {
        // 正在played的状态的第一帧被调用
        Debug.Log("------OnStateEnter------------");
    }

    // OnStateUpdate is called on each Update frame between OnStateEnter and OnStateExit callbacks
    override public void OnStateUpdate(Animator animator, AnimatorStateInfo stateInfo, int layerIndex)
    {
        
    }

    // OnStateExit is called when a transition ends and the state machine finishes evaluating this state
    override public void OnStateExit(Animator animator, AnimatorStateInfo stateInfo, int layerIndex)
    {
        // 转换到另一个状态的最后一帧 被调用
        Debug.Log("-------------OnStateExit-----------------");
    }

    // OnStateMove is called right after Animator.OnAnimatorMove()
    override public void OnStateMove(Animator animator, AnimatorStateInfo stateInfo, int layerIndex)
    {
    	// 在OnAnimatorMove之前被调用 
        
    }

    // OnStateIK is called right after Animator.OnAnimatorIK()
    override public void OnStateIK(Animator animator, AnimatorStateInfo stateInfo, int layerIndex)
    {
        // 在OnAnimatorIK之后调用，用于在播放状态时的每一帧的monobehavior。
        // 需要注意的是，OnStateIK只有在状态位于具有IK pass的层上时才会被调用。
        // 默认情况下，图层没有IK通道，所以这个函数不会被调用
        // 关于IK的使用，可以看看这篇文章《Animator使用IK实现头部及身体跟随》
        // https://www.jianshu.com/p/ae6d65563efa
    }
}

注意事项

1.取消勾选 Can Transition To Self，不然动画会出现抖动
在这里插入图片描述
2.动作循环。不然如果没有下个状态切换，直接停止动作

3.Has Exit Time，如果勾选了，则表示在该动作完成后才允许切换，但是一般我们要的都是立即切换，所以这里不要勾选

4.镜像，可以反转当前动画，减少动画师工作量
在这里插入图片描述
5.Solo与Mute
Mute相当于把目标过渡禁用掉。Solo表示只生效这一条过渡可以多选，当选中后会出现箭头提示条件满足优先于Solo/Mute，当条件没有满足时依然不会过渡

在这里插入图片描述

骨骼动画技术原理

重定向

参考资料

1.Unity骨骼动画的总结
 2.Unity动画状态机Animator使用
 3.Unity – Animation（旧版动画组件）和Animator(新版动画器组件)
4.Unity动态创建Avatar骨骼映射
https://zhuanlan.zhihu.com/p/79208337
https://blog.csdn.net/zb1165048017/article/details/112394097
https://blog.csdn.net/Nbin_Newby/article/details/128045244