记【2019-2020学年上学期】【视频技术及数字影像处理】结课作业思路

记【2019-2020学年上学期】【视频技术及数字影像处理】结课作业思路

写在前面

总是想一出是一出思维太不连贯所以第一次开个博客，记录一下做作业的思路及历程避免像无头苍蝇一样没有方向。（刚刚入门，可能会存在着很多很多白痴的设想和问题嘎嘎嘎嘎！JUST FOR 记录）

现状

基础：Java UE
背景：在上次使用过NCAM设备后，产生了一个想法，既然NCAM的两个鱼眼镜头是通过SLAM技术对影像进行深度提取，从而获得自身的位置信息最后传递到服务器中，计算出真实摄影机的位置信息，与虚拟摄影机进行匹配，最后在UE4中显示出合成的效果。那为啥子要搞个NCAM来进行定位嘞？利用其它的简易设备例如手机能不能实现这样的效果呢？

可能涉及到的问题及可能的答案

1、精度问题
Ncam设备的两个鱼眼镜头提供了大范围视角能够捕捉到更多的信息，跟踪更加精确。
BUT
SLAM视觉中的相机镜头并不是普通意义上的光学镜头，而是黑白的，提供连续的视频流进行跟踪。（存疑の点）
2、深度计算问题
Ncam的双目相机依据人眼双目视觉原理基于像个镜头之间的距离进行硬计算，很消耗资源嗷
BUT
普通相机中带有RGB颜色信息
BBBBUT
iPhone的虽然是双摄/三摄但是我其实还是没搞清楚这几个摄像头的具体信息，但是俺知道前置摄像头进行面部识别的时候是根据结构光。ANDDDDiPhone有APP是可以进行测距的，不知道原理是什么（可以参考一下原理）
3、数据输出问题
就算前面的跟踪和定位实现了，我要咋样才能将数据传输进三维软件or UE4里呢？

意义

首先在商用方面或者专业级拍摄时精度应该存在很大的问题
但是在自娱自乐或者作为一个便携移动设备进行定位的开端应该还是OK的（？？我自己也存疑）

害！！！
有点困难！！！
虽然我觉得肯定早就有人思考过这样的问题了，可能在实现的可能性上为零，（目前连难度在哪都预测不到）但是对计算机视觉还蛮感兴趣的，未来的方向可能会向虚拟摄影或者交互影响发展！
就暂且以这个作业作为 一个切入点去进行这方面的系统学习8。

那么一个一个解决上面的问题，就需要以下方面进行学习。

首先第一阶段：

• 手机摄像头构成及原理
• 手机摄像头提取深度、获得位置信息的方法
• 手机摄像头数据的获得并传输进后续软件的方法
• [ 苹果官网给出的iPhone11的技术规格]