激光笔交互之坐标映射算法：匹配点提取和参数模型

 1.坐标映射算法

  坐标映射旨在建立投影图像与计算机放映图像之间的坐标映射关系，如图所示。

图： 坐标映射关系示意图

  上图中，左边图像为摄像头采集到的投影图像，右边图像为计算机的放映图像，在投影图像中检测出激光点的位置后，需要将其映射到计算机放映图像中的对应点，从而确定后续交互行为的分析，如鼠标点击的位置，绘图标注的位置等。坐标映射关系一般在预处理阶段通过训练确定，首先投影特征图像，获得投影图像与计算机放映图像匹配特征点作为训练数据，假设有个匹配点和，然后训练一种参数模型得到坐标映射关系。

  在激光笔交互系统中，摄像头摆放位置需要视具体应用场景而定，采集的投影图像相对于计算机放映图像，可能会产生一定程度的旋转、平移以及尺度上的变化，且会受到光照条件的影响；另外摄像头的摆放位置较偏僻、投影变换失真、弧形投影屏幕等因素，会造成采集的投影图像出现非线性畸变，因此坐标映射算法应该对上述问题具有鲁棒性。下面分别介绍现有的匹配点提取算法和所用的参数模型。

 2.匹配点提取

  利用棋盘图像作为特征图像，然后利用Harris角点检测算法检测投影图像和放映图像的角点，获得匹配特征点和，采集到的投影图像和计算机放映图像如图所示。

图：  棋盘图像 (a)采集投影图像  (b)计算机放映图像

  Harris利用角点在水平和垂直方向均有较大灰度值变化来检测角点，首先定义图像窗口移动微小量[u,v]后的灰度变化量为：

 

其中 为高斯窗，由可得：

 

其中分别为灰度值水平与垂直方向的梯度。则角点检测的准则为：

 

其中det(M)为矩阵M的行列式值，tr(M)为矩阵M的迹，k为权重，取值为0.04~0.5，Th为角点检测的阈值。

  利用Harris角点检测可以准确检测出棋盘图像中的角点，然而并不能将投影图像与相应的计算机放映图像的角点相匹配，因此会得到错误的匹配数据。

 3.参数模型

  假定投影屏幕是平的，并且摄像头采集的投影图像没有产生任何畸变，进而利用单应性（Homography）建模坐标映射关系：

 

其中p=(p1,...,p9)为模型参数，其模值归一化为1，(u，v)和(x,y)为采集的投影图像与计算机放映图像的匹配点。将转化为矩阵形式：

 

由于模型参数的模值归一化为1，因此模型参数的自由度为8，只要有四组匹配点即可求出参数，当获得的匹配点多于四组时，采用最小二乘拟合的方法求出模型参数，假定匹配点为和，构建矩阵：

 

则模型参数可以通过求解下式优化问题获得最小二乘解：

 

上式的最优解为矩阵AT*A最小特征值对应的特征向量。

  考虑到交互中常用的投影屏幕为弧形屏幕，因此在单应性的基础上，增加了二次项来建模坐标映射关系，其表达式为：

 

进而将其转化为矩阵形式：

 

  然后利用与相同的方式求解参数的最小二乘解。为模型增加二次项可以一定程度上解决弧形投影屏幕问题，然而该模型并不能解决任意的非线性畸变，因此利用该二次模型建模坐标映射关系，仍然会带来误差，进而影响激光笔交互的性能。

参考文献：

[1] 徐一华, 李善青, 贾云得. 一种基于视觉的手指屏幕交互方法[J]. 电子学报, 2007, 35(11): 2236-2240.

[2] Harris C, Stephens M. A combined corner and edge detector[C]. Manchester: Alvey vision conference. 1988.

[3] Sukthankar R, Stockton R G, Mullin M D. Smarter presentations: Exploiting homography in camera-projector systems[C]. Vancouver, Canada: Computer Vision, 2001.