《增强现实：融合现实与虚拟世界》 作者: Oliver Bimber, / Ramesh Raskar,

Spatial Augmented Reality: Merging Real and Virtual Worlds 

(英语) 精装 – 2005年8月8日

作者: Oliver Bimber, / Ramesh Raskar, 

空间增强现实：融合现实和虚拟世界

2016年2月18日      上海普陀区

翻译：Taylor Guo

目录

1     增强现实简介... 5

1.1      什么是增强现实？... 5

1.2       目前的挑战... 5

1.3      空间增强现实... 5

1.4      本书框架... 5

2     基础：从光电子到像素... 5

2.1      简单介绍光... 5

2.2      几何光学... 6

2.3      视觉深度感知... 6

2.4      渲染流程（管道）... 6

2.5      本章总结和讨论... 6

3     增强现实的显示技术... 6

3.1      头戴显示... 6

3.2      手持显示... 7

3.3      空间显示... 7

3.4      本章总结和讨论... 7

4     几何投影... 7

4.1      几何模型... 7

4.2      渲染框架... 7

4.3      校准的目标... 7

4.4      显示环境和应用... 8

4.5      本章总结和讨论... 8

5     空间投影显示创建图像... 8

5.1      二维显示（平面显示）... 8

5.2      非二维显示... 8

5.3      投影重叠  亮度混合  无缝拼接... 8

5.4      曲面显示... 8

5.5      物体光源照射... 8

5.6      本章总结和讨论... 8

6     光学叠加... 9

6.1      透视屏幕... 9

6.2      镜面图像合成... 9

6.3      二维镜面图像合成... 9

6.4      图像畸变... 9

6.5      物体运动... 9

6.6      多路二维图像合成... 9

6.7      镜面图像合成矫正... 9

6.8      本章总结和讨论... 9

7     投影仪显示与图像增强... 10

7.1      增强的图像的显示：改变外观... 10

7.2      持续遮挡... 10

7.3      持续光照显示... 10

7.4      增强全息图像... 10

7.5      增强平面和纹理外观... 10

7.6      具有实际意义的几何增强纹理外观... 10

7.7      本章总结和讨论... 10

8     空间增强现实显示的实例... 10

A     投影仪或摄像头的校准...10

B      OpenGL 变换流程的实现... 11

 

1增强现实简介
虚拟现实，增强现实技术已经变成博物馆的寓教于乐平台。很多艺术家已经在用这种技术举办个人艺术展。工业应用采用增强现实日渐兴起。然而，由于现有的显示技术，这些效果并不好。在许多非移动应用领域，可应用的显示技术开辟了增强现实的新道路。也有人提到增强现实应用于传统显示器以外的领域，如博物馆、寓教于乐、科学研究、工业领域还有艺术领域。这本书讨论了增强现实主要实现方法，包括光学元件、视频显示投影仪，交互式渲染算法、校准技术和实例。用简单易懂的描述了数学原理和公式、部分代码、具体的实现指令，使有兴趣的读者能够自己动手去做增强现实显示产品。
本章简短介绍增强现实技术和目前遇到的问题。并对其他章节也做简要介绍。


1.1 什么是增强现实？
当今“虚拟现实”和“信息空间”变得很流行。科幻小说已经将这些技术展示给观众，进一步促进了研究工作。其实，我们已经深陷一个基于计算机虚拟的环境中，像视觉、听觉、触觉、嗅觉等，都可以通过计算机技术控制。虚拟现实产品已经实现。
那么什么是增强现实呢？与虚拟现实有什么关系呢？有人认为增强现实是虚拟现实的一种，而有些人认为虚拟现实是增强现实的一个实例。我们在这里并不讨论增强现实到底怎么定义。与虚拟现实不同的是，增强现实里的真实环境仍然存在显现，并占主要地位。增强现实并不像虚拟现实那样把人们置身于完全合成的虚拟世界，而是将合成的部分嵌入到现实环境中或现实生活视频中。这样就会有个基本问题：真实环境远远要比完全虚拟的合成环境复杂。图1.1展示了增强现实的一些应用例子。


既然增强现实是把合成信息整合到真实环境中，那么动画片、流行音乐是否可以用增强现实来显示？显然是可以的。增强现实信息和真实环境有很强的链接，是一种空间上的联系，我们将这种联系称之为“注册”。
人们认为Ivan Sutherland在1965年创立了虚拟现实的理论基础，他描述了“终极现实技术”：
终极现实技术，是计算机控制可以控制物体的空间。在这个空间里呈现的物体近乎完美，像爱丽丝梦游仙境一般。
其实，技术方案的提出更早。1950年代后期，电影制作人Mort Heilig发明了一个单人演示机，集成了3D电影、立体声、机械振动、电扇和香气。
与当时的系统相比，Ivan 提出用户应该能和虚拟环境交互。他就开发了第一台功能头戴显示设备，标志着增强现实的诞生。因此，他的研究成为虚拟现实的理论基础。他用半透明的镜子作为图像显示，并同步合成了CRT显示器显示的计算机图像和真实环境。另外，他用机械方法和超声波传感器测量用户头部的位置。这能确保图像重叠和真实环境的正确注册。


1.2目前的挑战
如前所述，合成的虚拟信息（通常是三维图像）和真实环境的准确的、有效的注册非常重要。为了达到这个目的，对于正在移动的用户，系统必须持续地判断用户在环境中的实时位置。
因此，“追踪”和“注册”问题是增强现实技术的主要挑战。对增强现实应用来说，精确、快速、健壮地追踪观测物，并且很好地融合虚拟物体和现实世界非常重要。通常，我们可以通过全局坐标系下的绝对位置追踪来分辨从外到内或是从内到外。第一种是用环境中的固定传感器来追踪运动目标。第二种是用运动目标本身的传感器。这些传感器可以判断它们与环境中特定标记的相对位置。这两种方法通常是用是否使用摄像头来区分，但它们也可以用其它传感器来描述。

继机械和电磁定位，光学定位越来越流行。红外线方案，精度高、定位速度快，基于特性标记定位的传统摄像头方案是一种低成本的选择。不需要标记的方案，称之为无标记方案，目前面临很多挑战，但是最有前途的方案。图1.1（a）是一个无标记的脸部追踪实例。

2.3 景深感知
传感器通过芯片或菲林片感知光线，从而感知物体或图像。人眼将获取的光线信息发送到大脑来捕捉图像。双眼获取的同一景象的图像有大小尺寸上的细微差别，使得大脑能够重建景深。这种现象就是立体视觉。立体视觉可以通过立体镜子显示人工设计的虚拟世界的两幅图片给人们构建一个虚拟的环境。对真实世界来说，双眼看到的图片传到大脑后被融合成一个三维图片。

2.3.1 人眼
人的眼睛是球状的，直径大约25毫米，里面充满了液体，对光的折射率大概1.336。