无人机的视频流识别

使用python+opencv完成对无人机的视频流识别

github地址：https://github.com/wei-miao/Drone-video-recognition

亲测，完全可以使用，有问题直接联系我，邮箱：weim2018@163.com

其实不光限定无人机，将正负样本改一改，可以实现动态视频中的任何物体，具有非常好的扩展性，也是异常优秀了。

本文是用最原始简单的方法做的，实现起来超级简单，具体的思路分为两部分，一个是动态目标检测，一个是目标识别，是这样的：

1.使用三帧帧差法完成对视频中动态目标检测，并确定其位置。

2.使用SIFT提取出检测的动态目标特征，使用KNN邻近分类算法完成动态目标的分类，以确定其是否是无人机，完成无人机的识别。

动态目标检测：

三帧帧差法思想以及实现的注意事项：

首先，说一下三帧帧差法，其实，这个思路挺简单的，就是有的地方需要注意。

相邻帧间差分法直接对相邻的两帧图像做差分运算，并取差分运算的绝对值构成移动物体。

三帧差法是在相邻帧差法基础上改进的算法，在一定程度上优化了运动物体双边，粗轮廓的现象，相比之下，三帧差法比相邻帧差法更适用于物体移动速度较快的情况。

三帧差法基本实现步骤：

1. 前两帧图像做灰度差
2. 当前帧图像与前一帧图像做灰度差
3. 1和2的结果图像按位做“与”操作

帧差法在这里有一个很关键的问题，就是二值化阈值的选取，如果选取的值太小了，就会有很多的我们并不需要的信息，如果选取的值太大，就会过滤掉我们需要的很多信息，那么这个值该如何选取呢？还是要看你识别动态目标的大小了，是人工取值的，下面的这个例子可以很好的说明一下。

               

              阈值为10                                            阈值为50                                             阈值为100

这个只需要动态目标检测的代码直接下载这个：

https://github.com/wei-miao/Drone-video-recognition/blob/master/dynamic.py

如果有什么问题，直接看readme文件，可能有什么东西没有安装。

动态目标检测：

SIFT提取特征：

在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等，SIFT的全称是Scale Invariant Feature Transform，尺度不变特征变换。SIFT特征对旋转、尺度缩放、亮度变化等保持不变性，是一种非常稳定的局部特征，它的局部特征，对旋转、尺度缩放、亮度变化保持不变，对视角变化、仿射变换、噪声也保持一定程度的稳定性。它的独特性好，信息量丰富，适用于海量特征库进行快速、准确的匹配。且具有多量性，即使是很少几个物体也可以产生大量的SIFT特征，它的速度高效，经优化的SIFT匹配算法甚至可以达到实时性，也可以很方便的与其他的特征向量进行联合。 

KNN邻近分类算法：

K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 KNN方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本有关。

如下图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。

只需要目标识别的代码连接：

https://github.com/wei-miao/Drone-video-recognition/blob/master/detection.py

其中：sample里面放的是样本，pos代表你所要识别的正样本，就是你要识别的东西，neg是识别的负样本，代表和你要识别的东西很像，但是并不是的东西，当然，负样本可以使任何东西，为了提高识别率，还是建议弄成和你要识别东西相似的为好。

结束，just be over！！！

最后的最后，非常感谢我滑稽小哥哥在我写代码的过程中对我的帮助，灰常感谢。