编辑丨新机器视觉
点击进入—>3D视觉工坊学习交流群
使用成像软件，可以组合多张图像，显示更多细节。常用的两种方法是图像拼接和景深合成。图像拼接是将多张图像拼接成较大图像的过程。这种类型的图像通常称为镶嵌图或全景图。景深合成是指拍摄一系列相同场景的图像，将这些图像进行叠加，融合成为单张图像。这个过程可以使每张单一图像都处于焦点区域，从而形成一张整体聚焦的图像。这篇文章介绍了如何实现这些类型的图像处理方法以及开始采用这些方法需要满足的条件。
1
图像拼接
有两种主要方法可以将图像数据融合成较大的图像。第一种方法是使用一台相机拍摄并组合拍摄的图像。第二种方法是使用组合相机拍摄一系列图像，最好同时拍摄，然后将这些图像融合成一张较大的图像。这种图像组合被称为镶嵌图，镶嵌图一词源于一张由多种材料组合而成的艺术图片。在数字成像中，镶嵌图是指使用软件拼接在一起的一组图像。
重 叠
图像拼接至少需要两张图像才能构建一张镶嵌图。图像拼接就像拼图游戏，如果两张图像有匹配的部分，就可以拼接起来。匹配两张图像的图像数据量称为重叠或重叠图像数据。重叠是指每张图像中彼此匹配的像素数。这意味着，每张图像都有特定区域与另一张图像重叠，并减少每张图像内的唯一像素。在以往的解决方案中，最多需要重叠80%的图像才能实现合适的效果。
在图2中，两张拼接的图像与所成像的部分景观有一些重叠。这两张图像拼接在一起，清楚地表明哪些区域不包含唯一信息。这说明了校准不当可能引起的问题。将实时传感器数据与确定性触发结合使用，可确保最小的重叠，增加可以从镶嵌图中的每张图像收集的最大数量的唯一数据。
为什么图像拼接可以提高航空成像的质量？
由于像素宽度非常重要，将相机组合在一起将像素宽度有效加倍，可能有助于提高成像质量。并排安装两台相机时，需要很高的精度，以最大程度地减少构成镶嵌图像的重叠。图3中显示了一个2000万像素相机和一组正确同步的900万像素相机之间的区别。
如需了解重叠如何在航空成像中发挥重要作用，请阅读白皮书《在航空成像中使用单台相机还是多台相机》(下载链接：https://www.lumenera.com/media/wysiwyg/documents/casestudies/Using_Single_vs_Multi_Cameras_in_Aerial_Imaging-White_Paper.pdf)。该白皮书介绍了航空成像系统中多台相机的使用情况，通过使用双目成像来组合多张图像。这种类型的成像策略可以增加视觉系统可以捕获的有效像素宽度，但生成正确的镶嵌图需要确保正确对齐、同步和图像重叠。
对 齐
多台相机共同使用的相机位置对整个视觉系统至关重要。在航空成像等应用中，添加第二台或第三台相机可以极大地提高整个视觉系统的分辨率，因此必须对齐相机，从而在相机之间产生适当的重叠量。如果重叠过多，视觉系统会降低分辨率并实际缩小镶嵌图。
2
景深合成
景深合成并不是在相机或目标移动时拍摄图像以创建更大的图像，而是在分辨率和尺寸相同的情况下，改进图像数据。可以拍摄一系列图像并通过算法或手动方式从每张图像中选取焦点所在区域，从而形成深焦取景，实现图像数据升级。
使用景深合成后，整张图像看起来会更清晰。这种类型的图像处理对于具有大量深度但需要分析全部内容的图像至关重要。景深合成的原始成分来自相机在不同焦点处拍摄的一系列图像。可以是任意数量的图像。
景深合成一般平均需要大约六张图像才能获得一个比较好的焦点范围，以便从后往前捕获焦点目标。但是，捕获的焦点目标会因相机的实际设置、光圈（最重要）和被成像目标的实际深度而不同。图4显示了在不同焦点处拍摄的一组图像，合并后形成一张完全聚焦的清晰图像。
图像质量的重要性
防止图像数据质量下降的最佳方法是以RAW格式捕获图像，而非使用.JPEG等格式的文件。RAW图像使用无损数据压缩技术。采用该技术，文件体积会更大（通常大2-6倍），但会保留更多的细节。这种类型的文件可以有多种文件类型，扩展名为.DNG、.TIF等。标准原始图像格式为.TIF，但许多相机制造商会采用自己拥有的图像格式。Teledyne Imaging提供的软件支持TIF和其他无损压缩格式，例如Windows位图。
图像的位深度也可以从典型的8位相机输出增加到12或14位。如需了解位深如何影响图像数据的更多信息，请访问我们的博文《深入了解位深》（文章链接：https://www.lumenera.com/blog/bit-depth）。如果位深度较高，可以进行图像处理，对图像数据进行更多控制，例如降噪和锐化。在图像后期处理过程中控制更多参数有助于图像拼接和景深合成等应用。
来源丨Teledyne Imaging本文仅做学术分享，如有侵权，请联系删文。
点击进入—>3D视觉工坊学习交流群
干货下载与学习
后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域精品课程
3D视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
3.国内首个面向工业级实战的点云处理课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
16.透彻理解视觉ORB-SLAM3：理论基础+代码解析+算法改进
重磅！粉丝学习交流群已成立
交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。
扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿，微信号：dddvisiona
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看，3天内无条件退款
高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
2998
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
