关于论文——图像融合、四目摄像头采集

图像融合

论文总结：
1、搞清渐入渐出融合的原理

采用渐入渐出融合，其实就是在重叠区域，对两幅图像的像素，线性地分配权值。其中img为融合后的图像，img1和img2为待拼接的两幅图像。d为重叠区域中某个像素点到边界的距离。

注意：为了免去噪声光照等影响，像素点为特征点，因此我们需要再图像融合之前进行特征点检测。

四目摄像头采集

主要四目摄像头数据要同时采集。

---

双目摄像头中，采用了两个写FIFO和两个读FIFO

若四目：

---

参考

当我们进行全景视频拼接的时候，需要注意下面的问题：

同步性——简单来说，就是你手中所有的摄像机如何精确保证同时开始，以及在录制的过程中保持帧率的一致性。

如果两台摄像机的开始时间不一致的话，会直接影响到它们的对齐和拼接结果——甚至如果场景中存在大量的动态元素或者相机位置在这个过程中发生了改变的话，结果可能根本是无法对齐的。

因此我们可以外接信号，让其作为使能信号，从而以它来确定各视频的同步开始位置，让四台相机采集到的视频图像同步运行。

---

拼接流程参考
为了满足视频拼接的实时性要求，同时考虑到摄像头安装的位置、角度以及不同摄像头之间相互位置相对固定，在本项目中可以使用基于特定图像拼接与查表法相结合的多视点视频拼接方法。在初始化阶段，首先采集预先放置于车辆前、后、左、右 4个方位的带有棋盘格的标定图像，利用标定图像分别对4个摄像头进行参数标定，求出并保存每个摄像头图像畸变矫正参数，对标定图像进行畸变矫正，消除摄像头成像失真； 然后对畸变矫正后的标定图像进行射影变换，求出并保存射影变换参数； 接着采集预先放置于车辆前、后、左、右4个方位的带有丰富特征点的特定图像，并通过查找摄像头图像畸变矫正参数进行畸变矫正，通过查找射影变换参数将矫正后的特定图像变换成俯瞰图； 最后对4个俯瞰图提取 ORB( Oriented FAST and Rotated BRIEF) 特征并进行粗匹配，利用 RANSAC( Random Sample Consensus，随机抽样一致) 算法剔除误匹配点，并拟合出单应性矩阵的初始值，再使用 Levenberg-Marquardt 非线性迭代最小逼近法进行求精，经图像配准、融合和拼接后，生成360°俯瞰全景视图。在泊车辅助系统启用期间，通过查找已保存的摄像头图像畸变矫正参数、射影变换参数以及单应性矩阵参数，将4个摄像头的视频图像进行拼接，生成虚拟的俯瞰全景视图。

由于摄像头内外参数校正准确性对图像投影效果影响大；需要结合摄像头安装具体情况进行算法的调整；为满足嵌入式系统实时性需求，需要不断优化算法；尽量进行流程简化或者流程自动化。

---

单应性矩阵和透视变换
单应性变换，也常被称为射影变换，可简单理解为世界坐标系中一平面上的点在不同像素坐标系之间的映射关系。两个平面之间的映射关系。

---

相机标定和单应性矩阵：
相机标定后：得到的是棋盘平面和图像平面的单应矩阵H。
而特征点匹配后：得到的是两幅图像之间的单应性矩阵H。

没什么技术含量，随笔。。。