MobiSys 2023 | mm3DFace: Nonintrusive 3D Facial Reconstruction Leveraging mmWave Signals

原文链接： https://mp.weixin.qq.com/s?__biz=Mzg4MjgxMjgyMg==&mid=2247486250&idx=1&sn=9e4c390b16c542dc57bba038a3d78e34&chksm=cf51b9d3f82630c518b1f9185f2d4f53028f4d1fef2fad0b6fb94e4a1877708251d202acb0e0#rd

MobiSys 2023 | mm3DFace: Nonintrusive 3D Facial Reconstruction Leveraging mmWave Signals

无线感知论文阅读笔记 | MobiSys 2023 mm3DFace: Nonintrusive 3D Facial Reconstruction Leveraging mmWave Signals

Abstract

• 动机

  • Recent emergence of 3D facial reconstruction

    🚩 支持许多面部驱动的场景,包括虚拟现实(VR)模型、人机交互和情感计算应用

  • 然而，Mainstream vision-based methods 可能会面临隐私问题,并受到障碍场景和光照条件差的影响

• Proposed method

  • mmWave radar-based mm3DFace system $\Rightarrow$ 非侵入性的3D人脸重建系统mm3DFace,利用毫米波雷达重建连续表现面部表情的3D人脸

    🚩 保护隐私 + 不受光照影响

  • step 1 : 基于预处理后的毫米波信号,mm3DFace首先通过ConvNeXt模型和三重损失嵌入提取捕捉面部表情细微变化的面部几何特征

  • step 2 : 然后,mm3DFace使用区域划分仿射变换推导距离加方向稳定的面部形状,具有68个面部标记点

  • step 3 : mm3DFace下一步通过设计的区域放大方法重构面部表情

  • step 4 : 最后通过FLAME模型生成连续表达面部表情的3D面部头像

• Experimental validation

  • 15名参与者 + 现实环境
  • mm3DFace可以精确跟踪68个面部标记点
  • 标准化平均误差为3.94%,平均绝对误差为2.30mm,3D平均绝对误差为4.10mm

1 Introduction

1. 3D face reconstruction importance

   • 作为人类情感表达和人际交往的主要手段
   • 市场范围扩展到人机交互、健康监测、虚拟现实(VR)建模等

2. Challenges of existing solutions

   • 视觉方法:可能暴露隐私;光照和非视线(NLOS)情况效果较差
   • 可穿戴设备:需要主动佩戴;侵入性;昂贵
   • 无法无意识重建人脸

3. Proposed mm3DFace system

   

   • 利用毫米波信号非侵入性重建3D人脸

   • 贡献点

     🚩 首个基于射频信号的3D面部重建解决方案

     🚩 ConvNeXt模型和三重损失嵌入:提取面部表情细微变化特征

     🚩 仿射变换和区域放大方法:重建距离和朝向稳定的面部表情;生成连续面部表情3D头像

     🚩 实验结果：有效重建不同面部表情;3.94%标准化平均误差;2.30mm平均绝对误差;4.10mm 3D平均绝对误差

2 SYSTEM OVERVIEW

• 1 mmWave signal collection and preprocessing
• 2 Facial feature extraction via ConvNeXt model with triple loss embedding
  • 通过ConvNeXt模型和三重损失嵌入提取面部特征
  • 提取面部几何特征;捕捉面部表情细微变化
• 3 Facial shape reconstruction using affine transformations of different facial regions
  • 使用面部不同区域的仿射变换重建面部形状
  • 68个面部标记点;距离和朝向稳定
• 4 Facial expression reconstruction via regional amplification method
  • 通过区域放大方法重构面部表情
  • 放大面部细微变化;重构细节
• 5 3D facial avatar generation through FLAME model
  • 基于形状和表情
  • 生成连续3D面部头像

下面分别介绍

3 MMWAVE SIGNAL PRE-PROCESSING

• 3.1 mmWave signal transmission and collection
  • FMCW
• 3.2 混频 + IF signal
• 3.3 range FFT and AOA
• 3.4 3D facial feature capturing in Range-Angle-Spectrums
  • 表示为三维矩阵
  • 剥离弱成分;形成3D数据立方体
  • 该信号用于后续特征提取

4 FACIAL FEATURE EXTRACTION

4.1 Facial feature representation extraction via ConvNeXt model

• 从范围-角度谱中提取面部特征表示

• 包含四个隐藏层

• 可视化中间特征映射显示面部空间位置和组件关系：

  

4.2 Facial expression distinguishability investigation

面部表情区分 可行性分析

• 主成分分析面部特征表示分布
• 相同表情聚类;不同表情分离
  • 结论：毫米波信号可捕捉面部活动
• 但面部特征表示不能直接揭示面部表情细微差异
  • 分辨率限制和易误性
  • 解决方案：下文的triple loss

4.3 Facial geometric feature extraction via triple loss embedding

• 在特征级放大不同面部表情;克服分辨率限制

  • 投影相同表情到一个嵌入空间;不同表情到不同嵌入空间
  • 减小相似表情距离;增加不同表情距离 : ${\Vert V_i^a-V_i^p\Vert }_2^2+\gamma <{\Vert V_i^a-V_i^n\Vert }_2^2,\forall \left(V_i^a,V_i^p,V_i^n\right)\in \mathcal{T}$,

• 三重损失嵌入损失函数

  $\begin{array}{rl}\underset{F}{\mathrm{argmin}}L=& \sum _i^N[\max ({\Vert F\left(V_i^a\right)-F\left(V_i^p\right)\Vert }_2^2\\ & -{\Vert F\left(V_i^a\right)-F\left(V_i^n\right)\Vert }_2^2+\gamma ,0)],\end{array}$

  • 三元组(正对和负对) $\left(V^a,V^p,V^n\right)$
  • 产生在分辨率有限的毫米波信号下揭示面部表情细微变化的面部几何特征

• 对比PCA：

  • 不同表情边界清晰;相同表情紧密聚类
  • 毫米波信号捕捉的不同表情在特征级更可分离

5 3D FACIAL RECONSTRUCTION

基于提取的面部几何特征,mm3DFace进一步重建面部形状和面部表情,最后生成3D面部头像

5.1 Facial shape reconstruction via affine transformations

获得68个面部特征点，表示一个人脸

• Facial shape reconstruction

  • 68 facial landmarks represent shape and position
  • 直接回归会导致不准确和变形
  • 需要 考虑距离和方向

• Affine transformation - 仿射变换

  • 缩放、旋转、平移和扭曲 $\Rightarrow$ 内部几何关系

    [ x ~ i y ~ i 1 ] = M ⋅ [ x i y i 1 ] = [ m 11 m 12