图像(视频)拼接（一）

图像拼接&视频拼接前瞻

研一课程终于结束了，有时间写下在这半年里自己除课程外玩过的一些小玩意，先写一篇关于图像拼接以及360度视频拼接前瞻性的一些内容，暑假如果自己有时间还会把最近玩的一些内容发到博客上。

图像拼接

图像拼接已经算玩的很透的东西了，一般来说无非就有两种常用的：
柱形拼接：用变焦镜头，将开阔地带展示出来，使用于范围宽阔的建筑或建筑群、海岸线、茫茫沙漠等；
球型拼接：采用了陷阱的拍摄和图形合成技术使得图像的视角可以达到360*360度，即上下左右全方位的视角。
注意现在一般柱形拼接很想平常手机摄像头的panorama模式，而球型拼接SAMSUNG弄了，我也借同学手机玩了一下，融合还需要加强，而且头顶和脚下还是不能达到可以接受的效果。
现在我先画下一般的图像拼接流程：

流程图:

读入待拼接的图像特征点提取及匹配图像变换及拼合生成全景图？结束yesno

看了流程图也就知道拼接的思路不是很难，唯一有玩点的就是特征点的匹配。这里面很多门门道道，知道sift特征(可以参考我以前的blog)的人都会知道它附带了一个match函数进行sift特征点之间的匹配，所以为了通俗易懂，我们就选取sift特征值进行匹配。match函数里面会对sift的descriptor进行点积，左图的一个sift点与右图所有的sift点的descriptor作点乘，按照升序排列，如果第一和第二的值的比例小于一定阈值，就判定是匹配上的点。所以我们可以用这种方法找到一 一 对应的点，并且我们能得到这些对应点的坐标，自然就能够得到坐标的变换，我用H表示。那么相应的图像A也可以通过H变换到与图像B，matlab里面有对应函数，博友可以自行help maketform和imtransform就明白上述内容。
通过上述一段描述，你也可以知道，匹配的准确不准确对拼接的效果有很大的影响，在剔除sift错误的匹配点的方法上ransac有着不错的效果，后续文章会进行介绍，这里先作个标记，以后有时间继续码字。
然后流程要到拼合，只要在同一个水平面上，拼合是很容易的，但是能否进行好的融合，没有拼接缝这就有些难度了，multi-band blending是一个不错的方法，大家可以自行去搜素一下。
没什么时间写太多blog，我这先把一些图像拼接的图和视频序列先贴上来，后续会继续写关于上面提了但没细说的内容。


下面这张图因为是隔了一段时间拍的，所以云朵那有很明显的拼接印，（因为云在飘。。。）所以如果是视频的拼接的话，同步确实是一个很重要的话题。

视频拼接，因为只有两个摄像头，没办法进行很宽的视频拼接，下面给出一组视频序列。



如果后续有时间再把前面没讲到的或者大家感兴趣的进行详细介绍和分析。