初窥AR(基于AR的自动定位初级思路)

年前老师给了个爱普生的投影仪要我用它来学习AR，经过一个星期的探索做出了一个简单的雏形程序，可以结合投影仪投影出来的图形进行简单的投影定位，也借着年前没有什么事情了写篇博客来分享记录一下我的初窥经历。

首先关于AR，经过一个星期的查阅资料以及实践我自己的拙见就是将虚拟的物体通过投影出来结合实际物体来进行处理，这里的处理部分就不得不使用到摄像头，我初步做的是用的RGB摄像头，还没有使用双目或者深度摄像头，关于做这个基于AR的自动定位，我来简单介绍一下我的大致方案和设施。

首先，我使用的器材很简单，一个摄像头，一个投影仪，找了一个空的地方，把摄像头和投影仪先固定好，然后将投影仪投影于一处干净的白色墙面，墙的前面放了一个倾斜的画板(就地取材)，在倾斜的画板上贴了一张白纸，白纸上面绘制了一个黑色的三角形框，刚开始我的思路是准备进行三个坐标系的转换(摄像头像素坐标系，投影仪投影于实际画板上的坐标系，OpenGL绘制时候的坐标系)，其实投影仪投影于实际画板上的坐标系可以细分为两个，一个是投影仪正投影出来的，还一个才是画板上的坐标系，这上面有一个倾斜角度。

说下我目前的一个思路，思路就是只用管像素坐标系和OpenGL坐标系，就是先化繁为简，首先我们是要定位白纸上的黑色三角形框，那么我就首先是用OpenGL在显示界面绘制一个参考框(此处其实可以选择参考点或者其它任意适合于实际情况的形状)，然后投影于画板上，这时候我们再调用摄像头捕获当前画面，当前画面就存在了一个已知参考框和我们要定位的三角形框，此时我们就对图像进行处理，在像素坐标系中得出参考框的像素坐标，三角形框的像素坐标，同时根据参考框的OpenGL中的坐标关系，我们可以得出三角形框在OpenGL坐标系中的值，此时我们就可以直接得出所要检测的三角形框的OpenGL中的坐标并且绘制出来就可以了。

此处其实我忽略了一个很关键的问题，就是我们摄像头采集的图片实际上已经是失真了的图片，我们通过图像处理得出的坐标值也是对应失真图片的尺寸，所以说应该还需要进行坐标矩阵转换，我此处运用的背景只是一个倾斜了一定角度的画布，所以说此处坐标矩阵转换关系理论上是可以求出来的，此处倾斜坐标系矩阵和原坐标系矩阵之间转换就是一个旋转角度Theta矩阵和位移Trans矩阵的变化，而且目前就我做的这个阶段性成果及测试效果来看，目前局限性还很大，虽然目前是摆脱了定点定位置的局限性，可以在有限的摄像头视野范围内进行任意移动，但是图像处理方面还仅仅只针对于规则形状拟合，相对于那种不规则的多边形就不能拟合出轮廓来，还有就是目前幕布仅仅是一个倾斜了一定角度的平面，然后实际中很多情况都是球状或者柱面幕布，这也是我仍需要进行研究的，第一篇先暂时只写这些，我感觉我这个入门主要还是思想上逻辑关系理清楚，其实实现起来的代码并没有什么难度，所以说我也就不献丑了，主要还是记录一下我的初步思路以及我接下来准备要做的，这篇可能写的比较水，不好意思了。