什么是视频融合，视频融合的技术层次及价值有哪些？

视频融合技术是虚拟现实技术的一个分支，三维全景拼接或者说是虚拟现实的一个发展阶段。三维视频融合技术指把一个或多个由摄像机图像序列视频和与之相关的三维虚拟场景加以匹配和融合，生成一个新的关于此场景的动态虚拟场景或模型，实现虚拟场景与实时视频的融合，即：虚实融合。

虚实融合，是把视频画面精确融合显示在三维模型对应的空间真实地理坐标位置，这种融合不会随着对三维模型的倾斜、旋转等操作而产生错位，充分发挥出三维场景的直观特点。

三维视频融合技术，可依托于单独的三维引擎，实现小范围或局部的三维场景与视频等资源的融合应用，也可依托于三维地理信息系统（3D GIS），实现全球广域范围内的三维地理信息可视化融合应用。三维全景拼接基于单独三维引擎的视频融合相比于三维地理信息系统视频融合，受限于应用范围，不能形成全城、全国或更大范围的三维可视化应用平台。

同时，在三维可视化数据挖掘和处理上，基于三维地理信息的视频融合技术，具有天然的时间和空间优势。通过内置的国际化统一标准的经度、纬度、海拔等地理信息坐标体系，实现三维可视化视频融合平台的基于LI（时空位置智能）的定位和时空动态分析，提升视频分析及人工智能应用价值。

视频融合技术的三个层次

视频融合技术一般可以分为三个层次，即预处理、信息融合与应用层。预处理技术主要用来对视频进行几何校正、噪声消除、色彩；亮度调整及配准等等。视频图像配准是指找到视频图像与三维虚拟场景的最大相关，以消除图像在空间、相位和分辨率等方向的信息差异，达到融合更真实，信息更准确的目的。

信息融合层即视频图像的融合。视频图像融合由智能度由低向高可以分为像素级、特征级、决策级融合等。像素级融合指基于图像像素进行拼接融合，是两个或两个以上的图像融合成为一个整体。特征级融合以图形的明显特征，如线条、建筑等特征为基础进行图像的拼接与融合。决策级融合使用贝叶斯法、D-S证据法等数学算法进行概率决策，依此进行视频或图像融合，更适应于主观要求。

综合评估及应用即视频与三维模型融合后可以从视频与客观两个方面进行评估，对融合结果给出评价并将融合后的信息体进行实践应用。

视频融合的表现方式

三维全景拼接基于三维地理信息场景的视频融合应用，结合不同的现场环境、不同的视频视角，具备多种融合表现方式。主要有：全景拼接融合、场景断续融合、广告牌式融合、室内分层融合、建筑结构融合、动态实时融合等六种形式。

视频融合的价值

1、直观展现

视频融合技术，可提升数字孪生场景在实时、连续、动态性表达方面的表达能力，一屏还原空间内多层次的实时动态画面，满足管理者提供更直观、更准确、更高效、更有价值的使用需求。

2、增强视频利用价值

三维全景拼接将三维场景+视频+地理坐标融合起来，叠加各类传感类设备，实现各种定制的智能分析，实现对场景状态的真实还原。通过经纬度、海拔等地理信息坐标体系，实现基于时空位置智能精准定位和时空动态分析，从而提升视频分析及人工智能的应用价值。

3、提升态势掌控能力

视频融合将视频与三维场景同步展现，完成拼接的图像通过与球机追视、历史回溯、场景信息增强显示等功能相结合，三维全景拼接能够大大提高人们对于场景内整体事物、态势的掌控能力。