android 实时模型,Android 手机端基于三维模型的人脸姿态实时估计系统

摘要：

针对人脸姿态估计对系统性能要求高,在手机上运行无法满足实时性等问题,实现了一种Android手机端的人脸姿态实时估计系统.首先,由摄像头获得一幅正面人脸图像和一幅偏移一定角度的人脸图像,采用SfM算法建立简单三维人脸模型,基于ORB特征描述符提取两幅图片间匹配点对,并使用RANSAC算法优化匹配点对,其次基于Bundle Adjustment算法优化得到基础矩阵,从而得到三维人脸模型;然后对实时图像采用基于"显式形状回归"的形状模型算法提取人脸特征点,并选取部分特征点和三维人脸模型中相互对应的点;其次,基于POSIT算法,通过最小二乘法优化,得到人脸姿态参数;最后根据人脸姿态参数和摄像头参数,在Android手机端使用OpenGL实时显示人脸模型.实验结果表明,实时视频中检测人脸姿态并显示的速度可以达到20帧/秒,接近电脑端的基于仿射对应的三维人脸姿态估计算法.而且针对大量图片序列的检测可以达到50张/秒.因此系统能够满足Android手机端的性能和检测人脸姿态的实时性.可以作为Android手机端的系统插件,从而提供一种新的交互方式,可以向手脚不便的残疾人提供新的手机操作方式.

展开