利用尾巴作为时间序列进行处理来识别鲸鱼

作者|Lamothe Thibaud 编译|Flin 来源|towardsdatascience

使用曲率积分和动态时间规整，让我们深入研究抹香鲸识别！

前言

最近，我们尝试了Capgemini的全球数据科学挑战赛。我与Acores鲸鱼研究中心合作，挑战的目的是确定抹香鲸，用人工智能帮助拯救抹香鲸的生命。

为了完成这项任务，我们收集了几千张过去几年的鲸鱼照片。在训练数据集中，平均每头鲸鱼有1.77张照片，很多动物只出现过一次。因此，主要思想是，给定一个新的图片，在已有数据中找出最接近它的。

因此，如果鲸鱼已经被拍下来，研究人员就可以知道是何时何地拍的了。

我很自豪地宣布，我们以第三名的成绩结束了比赛，我们使用暹罗网络取得了胜利。但是，由于已经有很多关于这个奇妙架构的文章，今天我将介绍一个更有趣、更新颖的方法来解决这个问题。

方法

由Weideman等人设计，在他们的论文“用于识别海豚和鲸鱼的曲率积分表示和匹配算法”中，这是我今天要介绍的方法的关键步骤如下：

• 基于颜色分析和轮廓检测的尾部提取

• 曲率积分尾部处理（IC）

• 与动态时间规整（DTW）的尾部比较

免责声明N°1：预测率不如暹罗网络好，我们不得不探索其他解决方案。但是这个想法非常有趣，值得分享和了解。

免责声明N°2：在许多数据科学项目中，数据准备是最困难的部分。实际上，要将尾部处理为信号，信号的质量必须非常好。在本文中，我们将花一些时间来理解信号处理之前的所有必要步骤。

探索我们的数据集，分析图片

如引言中所述，我们得到了数千张图片。乍一看，鲸鱼就是鲸鱼。所有这些图片看上去都像是一个蓝色背景（天空和大海），中间有一个灰色斑点（尾巴）。

经过初步探索之后，我们开始在两条不同的抹香鲸之间进行区别，这主要归功于尾巴的形状，我们确信这对我们的算法至关重要。那颜色呢？像素分布中是否有什么有趣的信息？

每个图片中颜色数量之间的相关性（绿色与红色–蓝色与红色–绿色与蓝色） 使用Bokeh可视化库（https://bokeh.org/） ，我们很快发现图像中的颜色高度相关。因此，我们专注于轮廓，尝试通过颜色变化来检测它们。

基于彩色滤波器的尾部提取

检测尾巴轮廓的第一步是从天空和水中提取尾巴。实际上，这是该过程中最困难的部分。

首先，我们使用轮廓检测​​算法。但是由于从一个镜头到另一个镜头的阳光不断变化，因此对比度发生了很大变化，结果总不能令人满意。

顺便说一句，看到图片算法失败最多的地方还是很有趣的，因为在大多数情况下，尾巴和大海之间的区别对于人类来说是显而易见的。

话虽如此，让我们深入研究颜色分析和轮廓提取自动化。

使用颜色提取尾巴

让我们为每个通道强度（红色，绿色，蓝色）绘制灰度图片

观察单个图片的三个通道

正如你在上面看到的，对于大多数图片来说都是这样，图片中间的颜色较少，可以按像素强度进行过滤。由于尾巴通常是灰色的，因此它们的每种颜色的数量几乎相同（R = G = B），但是，海和天空往往是蓝色的，这使该颜色成为过滤的理想选择。

让我们看看当只保留蓝色值，并且只保留蓝色值<选定的阈值（blue_value < SELECTED_THRESHOLD）的像素时会发生什么。

选定的阈值SELECTED_THRESHOLD的最大值为255，因为它是像素强