机器视觉学习系列五：增强现实

项目背景： 定位人脸特征点，进行人脸位姿估计，叠加眼镜模型或者头发模型，完成增强现实；已有成熟的有标识物库artoolkit，这个还是不错的，针对任何特定图案，略微修改一下，即可实现需要的效果；不过，对于无显著标识物的（即是采用自然标识物的），该库不就太行了，需要自己来完成略微；

具体实施方案：

1、标定摄像机参数，基于双目立体视觉，分别获得两个摄像机的相关参数，基于张正友的经典标定理论；

2、对于新出现的人脸，首先基于步骤3获得人脸的特征点，然后基于双目视觉进行特征点的三维重建；

3、获取人脸特征点，基于ASM/AAM算法，该算法原理不是很复杂，不过能找到的源码，貌似效果一般，达不到老外的那种效果。对于清晰图像，首先获得

人脸的眼角和嘴角等特征点，作为AAM搜索的初始位置，然后在搜索，效果可以提升一部分；

4、基于单个相机获得人脸特征点和步骤2已获得相应点的三维坐标，获得人脸的位姿，即平移和旋转矩阵；

5、坐标系变换，获得人脸在相机坐标系下的位资关系；

6、基于openGL，加载3D模型，把模型坐标系也变换到相机坐标系；

7、获得最终的增强现实效果图，主要是基于OPENGL的视角变换显示；

不足：该项目最终的效果不理想，效果初步达到了，但是模型和人脸之间存在缝隙，体验很不好，分析了原因，主要还是人脸特征点的精确定位，

没有精准的参考点，增强现实就无法达到理想效果；进两年，陆续也发现别的较好的人脸特征点检测方法，能找到相关源码的，均进行了测试，但是感觉人脸特征点还是不准，

哎，期望有一天能找到一个好的人脸特征点检测算法；

最近face++，看起来很不错，可行无法在项目中测试，继续等待-----