全景图像技术

介绍

  全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。

  目前市场中的全景摄像机主要分为两种，鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。

多图拼接主要流程

1. 图像匹配registration
     是指一对描绘相同场景之间的几张图片的几何对应关系，一组照片可以是不同时间不同位置的拍摄，或者有多个传感器同时拍摄多张图像；
2. 重投影reprojection
     通过图像的几何变换，把一系列图片转换成一个共同的坐标系；
3. 缝合 stitching
     通过合并重叠部分的像素值并保持没哟重叠的像素值使之生成更大画布的图像；
4. 融合blending
     通过几何和光度偏移错误通常导致对象的不连续，并在两个图像之间的边界附近产生可见的接缝；因此，为了减少接缝的出现，需要在缝合时或缝合之后使用混合算法；

图像拼接算法分类

   图像匹配和融合是直接影响图像拼接性能两个显著的研究领域，作为图像拼接的第一个和最有一个步骤吗，如果没有正确的图像匹配和融合算法，几乎不可能进行成功的图像拼接；

1. 图像匹配分类
   基于空域（目前用的较多）
     基于区域
     基于特征
       基于底层特征
         基于Harris角点
         基于FAST角点
          给予SIFT特征检测器（尺度不变的特征点检测算法）
         基于SURF特征检测器
       基于轮廓特征
   基于频域

2. 图像融合分类
   基于平滑过渡
     基于羽化
     基于金字塔
     基于梯度
   基于最佳接缝

第三方介绍

1. PTGui：https://ptgui.com/
2. OpenPano：https://github.com/ppwwyyxx/OpenPano
3. Panorama GL
4. opencv stitching
5. opencv stitching_detailed
6. Hugin：https://hugin.sourceforge.io/