使用Python+OpenCV探索鲸鱼识别（季军得主分享）

使用曲率积分和动态时间规整，让我们深入研究抹香鲸识别！

前言

最近，我们参加了Capgemini的全球数据科学挑战赛。我与Acores鲸鱼研究中心合作，挑战抹香鲸的识别任务，用人工智能帮助拯救抹香鲸的生命。

为了完成这项任务，我们收集了过去几年几千张的鲸鱼照片。在训练数据集中，平均每头鲸鱼有1.77张照片，很多动物只出现过一次，因此，我们的目标是，给定一个新的图片，在已有数据中找出最相似的。

因此，如果鲸鱼已经被拍下来，研究人员就可以知道是何时何地拍的了。

我很自豪地宣布，我们以第三名的成绩结束了比赛，我们使用暹罗网络取得了胜利，但是，由于已经有很多关于这个架构的文章，所以今天将介绍另一个更有趣、更新颖的方法来解决这个问题。

方法

本文介绍的方法由Weideman等人提出，算法的主要步骤如下：

• 基于颜色分析和轮廓检测的尾部提取

• 曲率积分进行尾部处理（IC）

• 与动态时间规整（DTW）进行尾部比较

所以该方法的预测率不如暹罗网络好，但是这个想法非常有趣，值得分享和了解。在许多数据科学项目中，数据准备是最困难的部分，要将鲸鱼尾部处理为信号，信号的质量必须非常好。在本文中，我们将花一些时间来理解信号处理之前的所有必要步骤。

探索我们的数据集，分析图片

如引言中所述，我们得到了数千张图片。乍一看，鲸鱼就是鲸鱼，所有这些图片看上去都像是一个蓝色背景（天空和大海），中间有一个灰色斑点（尾巴）。

经过初步探索之后，我们发现尾巴的形状可以作为区分鲸鱼的重要特征，我们确信这对我们的算法至关重要。那颜色呢？像素分布中是否有什么有用的信息？

使用Bokeh可视化库（https://bokeh.org/）来分析每个图片中颜色数量之间的相关性（绿色与红色–蓝色与红色–绿色与蓝色） ，我们很快发现图像中的颜色高度相关。因此，我们专注于轮廓，然后尝试通过颜色变化来识别鲸鱼。

基于彩色滤波器的尾部提取

检测尾巴轮廓的第一步是在图片里从天空和海水中提取尾巴，这也是尾部提取中最困难的部分。

首先，我们使用轮廓检测算法，但是由于从一个镜头到另一个镜头的阳光不断变化，因此对比度发生了很大变化，轮廓检测算法得到结果总不能令人满意。

使用颜色提取尾巴

我们为每个通道强度（红色，绿色，蓝色）绘制灰度图片

观察单个图片的三个通道

正如你在上面看到的，对于大多数图片来说，图片中间的颜色较少，可以按像素强度进行过滤。由于尾巴通常是灰色的，因此它们的每种颜色的数量几乎相同（R = G = B），但是，海和天空往往是蓝色的，这使该颜色成为过滤的理想选择。

让我们看看当只保留蓝色值，并且只保留蓝色值<选定的阈值（blue_value < SELECTED_THRESHOLD）的像素时会发生什么。

选定的阈值SELECTED_THRESHOLD的最大值为255，因为它是像素强度的最大值。