全景视频拼接技术的知识掌握——相机标定、投影变换、特征提取与匹配、拼接融合，亮度与颜色均衡处理及拼接质量评价指标

• 全景视频拼接(Video Stitching)是一种通过实时视频采集，然后进行拼接融合处理，并最终显示的技术，它将多路具有重合区域的视频拼接成一幅大尺度图像广角图像，或者说是360度全景图。
• 视频拼接技术涉及到计算机视觉、计算机图形学、数字视频处理以及一些数学工具等技术。
• 视频拼接其基本步骤主要包括：相机标定、多路视频的同步采集、传感器图像畸变校正、图像投影变换、特征点提取与匹配、全景图像拼接融合（消除拼接缝等），及亮度与颜色的均衡处理（免去不同光照等的影响）。
• 最终我们要对拼接质量进行客观评价

相机标定

为什么要进行相机标定？学习图像拼接步骤（一）——相机标定

由于安装设计（透镜和成像平面不平行）及摄相机间的差异，会造成视频图像之间存在缩放（镜头焦距不一致造成）、倾斜（垂直旋转）、方位角（水平旋转）差异。这些均属于物理差异，因此我们需要对物理差异预先校准，从而得到一致性好的图像，便于后续图像拼接。

在实际应用中，全景视频图像的获得往往需要单个或者多摄像机以不同的位置排列和不同的倾角拍摄。
例如由于机载或车载特性，相机的排列方式不尽相同，不能保证相机在同一面上，如柱面投影不一定在同一个柱面上，平面投影不一定在同一平面上；另外为了避免出现盲区，相机拍摄的时候往往会向下倾斜一定角度。这些情况比较常见，而且容易被忽略，直接投影再拼接效果较差。因而有必要在所有图像投影到某个柱面（或平面）之前，需要根据相机的位置和角度信息来获得坐标变换后的图像。