【PaddleHub模型贡献】一行代码实现海洋生物识别

海洋中的鱼类资源不仅有一定的食用价值，而且有很高的药用价值，近年来，世界各国对于海洋鱼类资源的重视程度与日俱增。在鱼类资源的开发利用中，必须对鱼类进行识别，从而了解其分布情况。但是由于鱼的种类繁多，形状大小相似，同时考虑到海底拍摄环境亮度低、场景模糊的实际情况，对鱼类资源的识别较为困难。

针对海洋鱼类识别难的问题，本实践使用卷积神经网络（Convolutional Neural Network,CNN）构建深度学习模型，自动提取高质量的特征，并将训练好的模型贡献到PaddleHub，使用户只用1行代码即可实现调用，从而解决海洋鱼类识别的问题。

接下来，让我们一起来学习如何使用百度深度学习框架飞桨来搭建卷积神经网络，实现海洋鱼类资源的识别。

参考资料：

• 用深度学习识别海洋生物？飞桨轻松完成挑战！
• 手把手带你将Paddlex模型部署为PaddleHub
• 【PaddleHub模型贡献】一行代码实现水表的数字表盘分割
• 【PaddleHub模型贡献】一行代码实现从彩色图提取素描线稿

一、实现原理

基础的卷积神经网络CNN由 卷积(convolution), 激活(activation)和 池化(pooling)三种结构组成。CNN输出的结果是每幅图像的特定特征空间。当处理图像分类任务时，我们会把CNN输出的特征空间作为全连接层或全连接神经网络(fully connected neural network, FCN)的输入，用全连接层来完成从输入图像到标签集的映射，即分类。当然，整个过程最重要的工作就是如何通过训练数据迭代调整网络权重，也就是后向传播算法。目前主流的卷积神经网络(CNNs)，比如VGG, ResNet都是由简单的CNN调整、组合而来。

1.卷积层

卷积层会对输入的特征图（或原始数据）进行卷积操作，输出卷积后产生的特征图。卷积层是卷积神经网络的核心部分。输入到卷积层的特征图是一个三维数据，不仅有宽、高两个维度，还有通道维度上的数据，因此输入特征图和卷积核可用三维特征图表示。如下图所示，对于一个（3，6，6）的输入特征图，卷积核大小为（3，3，3），输出大小为（1，4，4），当卷积核窗口滑过输入时，卷积核与窗口内的输入元素作乘加运算，并将结果保存到输出相应的位置。

上图中卷积操作输出了一张特征图，即通道数为1的特征图，而一张特征图包含的特征数太少，在大多数计算机视觉任务中是不够的，所以需要构造多张特征图，而输入特征图的通道数又与卷积核通道数相等，一个卷积核只能产生一张特征图，因此需要构造多个卷积核。在RGB彩色图像上使用多个卷积核进行多个不同特征的提取，示意图如下：

2.激活层

如果输入变化很小，导致输出结构发生截然不同的结果，这种情况是我们不希望看到的，为了模拟更细微的变化，输入和输出数值不只是0到1，可以是0和1之间的任何数，

激活函数是用来加入非线性因素的，因为线性模型的表达力不够，所以激活层的作用可以理解为把卷积层的结果做非线性映射。

我们知道在神经网络中，对于图像，我们主要采用了卷积的方式来处理，也就是对每个像素点赋予一个权值，这个操作显然就是线性的。但是对于我们样本来说，不一定是线性可分的，为了解决这个问题，我们可以进行线性变化，或者我们引入非线性因素，解决线性模型所不能解决的问题。

这里有一些小技巧：

一般不要用sigmoid，首先试RELU，因为快，但要小心点，如果RELU失效，请用Leaky ReLU，某些情况下tanh倒是有不错的结果。

3.池化层

池化层的作用是对网络中的特征进行选择，降低特征数量，从而减少参数数量和计算开销。池化层降低了特征维的宽度和高度，也能起到防止过拟合的作用。最常见的池化操作为最大池化或平均池化。如下图所示，采用了最大池化操作，对邻域内特征点取最大值作为最后的特征值。

最常见的池化层使用大小为2×2,步长为2的滑窗操作,有时窗口尺寸为3,更大的窗口尺寸比较罕见,因为过大的滑窗会急剧减少特征的数量,造成过多的信息损失。

需要注意的是：池化层没有参数、池化层没有参数、池化层没有参数

4.批归一化层

批归一化层是由Google的DeepMind团队提出的在深度网络各层之间进行数据批量归一化的算法,以解决深度神经网络内部协方差偏移问题,使用网络训练过程中各层梯度的变化趋于稳定,并使网络在训练时能更快地收敛。

二、数据集简介

本次实践所使用的是fish4knowledge公开数据集。该数据集是台湾电力公司、台湾海洋研究所和垦丁国家公园在2010年10月1日至2013年9月30日期间，在台湾南湾海峡、兰屿岛和胡比湖的水下观景台收集的鱼类图像数据集，包括23类鱼种，共27370张鱼的图像。

该数据集已上传至AI Studio：https://aistudio.baidu.com/aistudio/datasetdetail/75102

23个类别分别是：

• Dascyllus reticulatus 网纹宅泥鱼

• Plectroglyphidodon dickii 迪克氏固曲齿鲷

• Chromis chrysura 长棘光鳃鱼

• Amphiprion clarkia 双带小丑鱼

• Chaetodon lunulatus 弓月蝴蝶鱼

• Chaetodon trifascialis 川纹蝴蝶鱼

• Myripristis kuntee 康德锯鳞鱼

• Acanthurus nigrofuscus 双斑刺尾鱼

• Hemigymnus fasciatus 横带粗唇鱼

• Neoniphon samara 莎姆金鳞鱼

• Abudefduf vaigiensis 五带豆娘鱼

• Canthigaster valentine 黑马鞍鲀鱼

• Pomacentrus moluccensis 摩鹿加雀鲷

• Zebrasoma scopas 黑三角倒吊鱼

• Hemigymnus melapterus 黑鳍粗唇鱼

• Lutjanus fulvus 黄足笛鲷

• Scolopsis bilineata 双线眶棘鲈

• Scaridae 鹦嘴鱼

• Pempheris vanicolensis 黑缘单鳍鱼

• Zanclus cornutus 镰鱼

• Ncoglyphidodon nigroris 黑嘴雀鱼

• Balistapus undulates 黄纹炮弹鱼

• Siganus fuscescens 褐蓝子鱼

解压数据集：

!unzip data/data75102/fish_image.zip -d /home/aistudio/

三、模型开发

本项目基于PaddleX开发，使用ResNet50_vd_ssld。

安装PaddleX：

!pip install paddlex

1.划分数据集

按训练集：验证集：测试集=7：2：1的比例划分

!paddlex --split_dataset --format ImageNet --dataset_dir '/home/aistudio/fish_image' --val_value 0.2 --test_value 0.1

/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/setuptools/depends.py:2: DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
Dataset Split Done.[0m
[0mTrain samples: 19150[0m
[0mEval samples: 5454[0m
[0mTest samples: 2720[0m
[0mSplit files saved in /home/aistudio/fish_image[0m