基于二维照片序列的三维人脸动画

最近看了一下Shape Context、Image Matting、Graph Cut、Scale Space，想达到的目的是快速、准确的找到人脸相关的特征点、轮廓等。

最近对这个比较感兴趣。想法是通过二维照片序列作为输入，计算人脸的特征点，并通过特征点的变化，驱动脸部三维动画。与此相关的应用可以有：京剧脸谱、七十二变等。

首先确定一下开发框架：

机器学习http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html http://blog.sina.com.cn/s/blog_4a1853330100zzrx.html

Face Geometry and Appearance Modeling: Concepts and Applications

http://books.google.com.hk/books?hl=en&lr=&id=oM3mwbid6xAC&oi=fnd&pg=PA1&ots=I1lxb0gViX&sig=IBKZiA2x8tsojvgVdS3HM-93FUQ&redir_esc=y&hl=zh-CN&sourceid=cndr#v=onepage&q&f=false

1、三维库（包括模型、人脸动画、纹理、输入参数）

编码框架：opengl es 3.0(http://www.khronos.org/opengles/ 该API由Khronos集团定义推广，Khronos是一个图形软硬件行业协会，该协会主要关注图形和多媒体方面的开放标准)（编程环境：http://www.imgtec.com/products.asp，http://baike.baidu.com/view/5141311.htm VideoLogic分出来的Imagination Technologies成为VideoLogic、PowerVR、Ensigma、Metagence这四者的母公司，其中Ensigma、Metagence是面向DSP设计）

三维人脸模型：网格模型（三角形和四边形面片）、样条模型（B样条曲面、Bezier曲面等）、统计模型（形变模型、三维特征脸）、点云系统、有限元模型、参数模型。

动画模型：多边形（Parke、参数化）、肌肉模型（Waters、弹簧）、伪肌肉模型（网格）

数据获取：图像（1、单视图；2、正侧视图；3、基于多幅图像；4、基于单目视频；5、基于双目视频）、基于人体医学和人体测量的方法、由数字化仪的方法测量脸部数据

2、二维照片序列的特征点定位和跟踪

Candide以及MPEG4的名词解释：

一、模型基本数据层次

1、Vertex List（点集合）：出处（Candide）

2、Face List（面集合）：出处（Candide）

3、FFP（Facial Feature Points）：出处（MPEG4）

二、模型形状变形层次

1、Shape Units（形状单元）：出处（Candide）

2、Shape Parameter（形状参数）：出处（Candide）

3、FDP（Facial Definition Parameter）：出处（MPEG4）

三、模型动画变形层次

1、Animation Units：出处（Candide），作者认为AUs、FAP都是Animation Units的实现例子

2、Animation Parameter：出处（Candide），Animation Units的参数

3、AUs（Action Units）：出处（FACS，Facial Action Coding System）

4、AUV（Action Unit Vector）：出处（Candide）

5、FAP（Facial Animation Parameter）：出处（MPEG4）

3、模型参数：三停五眼

4、研究机构：

国外：微软研究院(http://research.microsoft.com/en-us/um/people/zhang/Face/,http://research.microsoft.com/en-us/um/people/zliu/)、华盛顿大学、瑞士联邦技术研究院、多伦多大学、IBM研究院等

国内：浙江大学、清华大学、中国科技大学、中科院计算所、中科院自动化所等

5、期刊或会议

国外：SIGGRAPH，ICCV（International Conference on Computer Vision）、PAMI（Pattern Analysis and Machine Intelligence）、IJCV（International Journal of Computer Vision）、CVIU（Computer Vision and Image Understanding）、IEEE Transactions on Visualization and Computer Graphics、Computer Graphics

国内：计算机学报、计算机辅助设计与图形学学报、中国图像图形学报和China Graph

文章摘要：

1、http://www.doc88.com/p-784440775910.html

2、http://www.doc88.com/p-706896559889.html

	三维建模	特征点获取	其他
http://www.doc88.com/p-784440775910.html	Candide-3，OpenGL	人工标定	神经网络