TV+鱼眼 2005

论文题目：Markerless Augmented Reality with Light Source Estimation for Direct Illumination

增强现实中无标记光源估计的光照渲染

作者系统采用设备是包含两个摄像机，一个电视摄像机（TV-camera），一个鱼眼摄像机（fish-eye camera，180度视角）。TV-camera用于摄取要添加虚拟物体的场景视频，fish-eye camera观察上方半球和周围环境，以获得光源信息。相应的，就可以使用直接光照方法渲染虚拟物体。这种跟踪方法解决了很多增强现实系统需要在场景中放置额外的标志物或者设备以重构场景光照。这种设备可以是的系统可以在不同的环境下使用，即使改变地点也可以。

 

由于增强现实应用中需要跟踪相机姿势，大部分做法是需要在场景中做标记，BBC的FreeD跟踪采用了一种不在视图中放置标记的方法，而将标记放在场景的顶部，用一个向上的摄像头进行跟踪，这样也需要一个复杂的标定过程。本文的作者通过识别3D特征点的方法获得摄像机的位置，需要在渲染前现货的场景信息，离线计算3D特征点，即有一个学习的过程。

坐标系的转化：3D特征点和相机姿势都是在局部坐标系下，通过离线学习过程，在后面的增强现实中，就可以克服帧之间的坐标不一致问题。学习到的3D场景结构也可以用于放置虚拟物体。

鱼眼摄像机用于探测场景的光源，要求所有光源都可以被这个摄像机看到，而不能被TV-camera看到。估计的光源位通过一个从鱼眼坐标系统到TV摄像机坐标系统的一个转化，变换到TV摄像机坐标系下，这样就可以对TV摄像机坐标系下的虚拟物体进行直接光照计算了。而这个坐标的转化是在摄像机各自重构过程中得到的。

方法流程：

1.对于场景拍摄一系列图像，要求前置摄像机看到场景，鱼眼摄像机看到光源。

2.从两个摄像机得到的视频中进行场景重构和姿势估计。

3.时间对齐，如果摄像机还没有对齐，同步的话，进行摄像机时间对齐

4.空间对齐，融合两个坐标系，以在场景重构时进行位置估计

5.放置虚拟物体

6.使用鱼眼摄像机估计光源

7.在线进行光线跟踪渲染

 

无标记情况下摄像机姿势估计：分为两步，首先离线使用structure-from-motion(SfM)方法估计摄像机姿势，重构场景，计算3D特征点（KLT-tracker方法，基于特征匹配），然后实时跟踪这些特征点。然后实时跟踪：初始化TV摄像机的位置，利用3D特征点跟踪摄像机位置（KLT-tracking）。

摄像机对齐：时间对齐，空间对齐

平面分割和坐标系转化，其实就是把虚拟物体放置在合适的位置

光源位置估计：可以判定光源为图像中所有通道都饱和的区域。然后把光源位置转化到TV相机坐标系下

增强现实：原来场景的图像作为北京，虚拟摄像机参照估计得到的真是摄像机的姿势摆放。阴影采用shadow maps方法，两步渲染。

 

实验结果：采用两组实验，实验一采用静态场景，由人手中拿着摄像机运动，此时摄像机不如放在支架上那种稳定；实验二，摄像机放在支架上，场景内坐两个人，运动说话，由于他们遮挡了部分离线时的特征点，并且他们身上没有特征点。这两种情况下都获得了较好，较稳定的效果。即对于摄像机剧烈运动和场景中存在运动人体的情况都可以处理的很好。