VR(沉浸视频)
含义
anyview=多视角
anytime
anywhere
stereo
interatcive(体感技术kinect,体感头盔捕捉头部和眼球运动)
全光函数
7维度
3D viewpoint
2D ray direction
1D wave length
1D time
--->简化为:全景视频(成像在一个球上)
系统
采集
多个gopro相机
- 相邻相机公共事业
- fov广角图像即便
- 相机们的时间同步
生成
假设光心重合
- 利用特征点匹配估计成像平面所在的位置,计算单一矩阵
- 融合图像,进行补偿光线等工作
- 问题
- 实际中,摄像头的光心不能完全重合,导致
---》近景和远景单一矩阵不同
出现parallax error现象,图像断掉--try 不同深度用不同的单一矩阵 - 时域抖动
- 弱纹理拼接
编码
- 数据量大,5k 60fps需要带宽至少45Mbps,现实中
---》3Mbps,目前最高的网络带宽40Mbps - 压缩质量要高:放在人眼前显示,对块效应等容忍度小
- 终端解码能力
呈现
- 立体:
目前解决方案:通过时差造成伪立体/通过深度估计进行绘制(方法:SGM,Middlebury Benchmark) - 视点融合:DIBR(VSRS参考软件)
有很多应用
在线虚拟现实的演唱会etc
有很多值得研究的问题
1.全景的场景理解