AR-虚实融合文献阅读整理（一）

一 增强现实中虚实融合中光照一致性的研究

http://xueshu.baidu.com/s?wd=paperuri%3A%28e867ba9c51b7d137175268533e46399d%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fwww.doc88.com%2Fp-9733331878429.html&ie=utf-8&sc_us=4587092160239137668

一 概论

虚实结合即强调虚拟跟现实的融合，体现在虚实结合、实时交互和三维尺度匹配，主要通过显示技术、交互技术、传感技术和计算机图形和图像技术实现。

二 实时光照计算技术

几何一致：

传感器注册（GPS、指南针、IMU、红外和深度摄像头等）

计算机视觉注册（现有的好多AR应用）

传感器和视觉结合的注册

光照一致：

各种光照和反射等特性计算，详细的可以自己去查看。理论上来说，GPU计算能力越强，考虑进去的反射、折射、漫反射以及物体表面的特性越多，得到的虚拟场景的光照效果越接近现实场景。

GPU可编程图形处理器：

GPU图形架构中，只有顶点处理器和片元着色器事可编程的。

1.可编程顶点处理器

三维到二维，及顶点数据到投影平面，位置颜色和纹理坐标

2. 可编程片段处理器

三 真实场景光照表示和获取方法

1. 真实场景光照表示

阴影计算、金属球采集反射贴图等.

2.获取方法

主要获取方法有两种：

利用图像检测、特殊的硬件设施来对真实场景的光照进行采集，再把真实场景中的光照抽样成计算机图形学中的各种光源，最后用虚拟光源对虚拟对象进行感光绘制。

模拟单一材质的虚拟对象对周围环境的反射特性，采用基于图像光照技术来获取光照信息；

真实场景中颜色信息和对比度在【0，255】范围一般会丢失好多信息，所以高动态范围图像被采用。利用普通图像加一些技术来合成HDR图像。

1.光测球法2.图像拼接法3.全景相机法

四 复杂环境实时光照绘制算法

用Cook Torrance光照模型进行计算，有各种光照模型、漫反射分量计算、镜面反射份量计算等。

五 虚实场景炫光和折射的模拟

二 增强装配系统的虚实融合技术研究

http://xueshu.baidu.com/s?wd=paperuri%3A%2858a301575a2ad115141463fb9b878ea1%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fwww.doc88.com%2Fp-919950630584.html&ie=utf-8&sc_us=11047183566215279277

一 背景 balabalabala

有个沉浸式虚拟装配系统 VADE

二 虚实混合建模

三 虚实注册

1.技术原理 坐标系变换 三个步骤

真实空间坐标系- 观察空间坐标系

观察平面坐标系-2D成像平面坐标系

虚拟物体坐标-真实空间坐标系

2.视频采集与矫正：

解决几种失真问题

3.标志物识别：

用黑色方框内的白色区域作为识别区来识别虚拟装配零件的信息。

主要用到的技术图像处理中的区域检测、标志物仿射变换等。基本都在2D的坐标中。

4.基于标志物的零件注册

真实零件注册：与标志物固联，通过识别标志物注册真实零件

虚拟零件注册：虚的以实的为父节点 所以相对位置也就知道了

5.基于标志物的用户注册

也是基于识别标识 即黑白块的用户操作。

四 虚实叠加

真实摄像头数据加渲染虚拟物体，嗯

关于遮挡的问题，肯定要拿到深度图像才可以。

五 系统搭建

1.模型 ProE wrl格式文件

2.虚拟现实开发包 OpenInventor对装配场景进行管理渲染操作，可以配合opengl编程

3.视频信号采集工具 VFW和directshow

4.图像处理与视频叠加工具

流程图如下：

三 虚实融合环境下Kinect体感交互在虚拟实验中的应用

http://www.ixueshu.com/document/9a7b2ed7ffddad4d318947a18e7f9386.html

一 虚实融合与体感交互

kinect：红外投影+红外摄像头+彩色摄像头+麦克风阵列（红外投影机投射光谱，摄像头读取反射谱；彩色是辅助识别）

二 虚拟实验室现状

。。。

好吧 这篇基本没讲啥 没干货 就是unity+xbox的开发 结合kinect有手势和肢体识别的内容 有需要的自行了解kinect开发吧