第一次参加kaggle竞赛：Happywhale - Whale and Dolphin Identification（ID识别问题：top9.4% 150/1558）

仙女修炼史

已于 2022-05-04 19:14:51 修改

阅读量1.6k

点赞数 1

分类专栏：实践文章标签：深度学习神经网络机器学习 kaggle

于 2022-05-04 16:21:06 首次发布

本文链接：https://blog.csdn.net/weixin_45209433/article/details/122818017

版权

22 篇文章 2 订阅

订阅专栏

在这里插入图片描述

ID1：
在这里插入图片描述
ID2：

下图是哪个ID：

在这里插入图片描述
训练的时候，采用effiecientnetb7作为特征提取器，使用gem pooling，加入CBAM attention，四个neck，四个loss；测试的时候，将四个neck的特征cat到一起，就是提取的embeddings。

学习率：warmup+cos下降
冻结bn层：小的batch_size下不能正确估计统计变量E(x)和V(x)，还不如不更新。详细看这里
混合精度训练：GPU下的某些操作，将float32转换为float16，损失少量的精度，可以节省大量的内存。详细看这里
梯度累加：梯度累加几个batch_size之后再更新，loss求平均时防止梯度爆炸。详细看这里
CBAM attention：通道和空间域的attention。
test_tta：Test Time Augmentation
不同input size之间的ensemble：确定input size 时，CNN 学会了找到特定大小的特定特征；那么，修改input size后再训练，学习后的CNN找到的其他大小下的其他特征，因此可以用不同的input size，看哪种更接近最优值。

下面的表格是我在effiecientnetb5上的训练结果，因为effiecientnetb5更新快，score是在public LB上的分数：
在这里插入图片描述

Progressive Resizing
step1:Train model on size: small
step2:Save weights and re-train model on larger image size
step3:Save weights again and re-train on final image sizes
Differential Learning Rates
上层特征，用小的学习率，低层特征，用较大学习率
PsuedoLabelling
训练—测试—加入训练集—再训练—再测试