一 增强现实中虚实融合和人机交互技术的研究与应用_黄震宇
基于标志物的识别,利用opencv和三维图形引擎OGRE实现虚实融合展示系统;
人机交互方案采用PrimeSense的深度摄像头,通过计算机视觉处理,重建了人体三维谷歌系统定义体感语义,制定动作-指令映射表。结合体感开发平台OpenNI,实现肢体、全身控制。
一 绪论啥的
1.虚实融合
常用方法:光学显示(头戴头盔等)/视频显示(spectator view)/空间显示(投影仪等设备)
两个技术点:几何和光照
精度、比例和遮挡关系等-抗锯齿 曲面细分
炫光透明折射反射阴影
2.三维注册
/传感器注册
GPS,Gsensor,陀螺仪,CCD(发LED光来测目标基准间角度),超声波,MEMS
/计算机视觉注册 artoolkit等
/综合注册
根据图像特征点的跟踪定位,PTAM方案,使用的是Lucas-Kanade的光流跟踪算法,不需要特定标志物,基于自然图像
3.交互 数据手套 动作捕捉仪
二 基础知识介绍
1.数字图像
2.图像分割
主要用的算法包括 边缘检测、区域分割、形态学方法、阈值分割、分类与聚类算法
3.轮廓提取
4.摄像机标定-世界坐标系+摄像机坐标系+图像平面坐标系
-----世界-摄像机
-----图像平面和图像像素坐标系
------线性摄像机模型/平面定标/模板匹配等
三 开发平台
1.Opencv
2.OGRE常用的渲染方式有opengl和到d3d,但不适合在大型程序中直接用,使用第三方图形渲染引擎 OGRE 遵循LGPL (火炬之光用的图形引擎)
其实吧 有点像更底层的unity
3.体感开发平台
OpenNI beckon iisu
四 系统
系统实现
1.标志物,用的是artoolkit的
2.视频图像获取
用的是opencv的库 CvCapture * gcap;
gcap = cvCreateCameraCaputer(0);
image * frame = cvQueryframe(gcap);
3.检测标志物过程
4.确定摄像机位置
5.标志物识别过程
四边形轮廓-图像正规化-模板匹配-识别
5.虚拟物体注册和渲染 用的是OGRE工具,大致流程是3dsmax模型-导出为scene格式(场景导出插件ogremaxsceneexporter)-ogre
五 基于深度摄像头的体感漫游系统
深度摄像头-谷歌重建-谷歌追踪-体感语义-交互指令
用的是primesensor,基于openNI平台
具体实现可以查阅相关论文。
二 桌面增强现实环境下的虚实融合和三维交互技术研究_陈亮
一 仍然是什么绪论,不得不吐槽国内的硕士论文,各种粘贴复制。。略过
二 虚实融合和三维交互技术
放弃这篇文章了,写的都是啥。。。各种粘贴来的东西 一点自己的思路都没有,浏览一下看看技术要点吧,大概用的也是openinventor,3D场景用的是OIV的Coin3D。感觉做了很多东西发了很多论文,然而思路太乱了。