2021高通人工智能应用创新大赛--创新赛道-决赛阶段小结

20212021高通人工智能应用创新大赛–创新赛道-决赛阶段小结

一、APP开发应用的问题

目前开发的基于高通SNPE技术的安卓APP，功能部分尚且只能实现封装好的图片进行识别，距离拍照和调用相册进行识别的功能还有很多问题没有解决；

通过对比其他队伍的开发团队我们不论在应用开发的专业性还是模型训练的经验积累上都远远不足：

开发的框架目前采用的是android studio的源生框架，而其他队伍中使用Flutter开发移动应用将具备更多优势：

未来希望结合现有的技术和场景开发落地应用，增加回收系统的功能，而且针对应用的功能展示可以考虑以思维导图的形式来进行呈现，如下图：

二、模型训练技巧方面的总结：

根据垃圾分类赛题的赛道大家的baseline大多集中在EfficientNet的系列网络框架上了，但是策略上略有不同，而且参考Github上的源码与一些优质赛题解决方案的baseline跑出来是完全不同，中间的某些小策略有待进一步尝试总结。

• 模型主体框架：

  Efficientnetv2 https://github.com/d-li14/efficientnetv2.pytorch

  MobileNetV2

  SeResNext101

• 在数据增强方面可以进一步考量的方法：
  • Cutmix和Mixup
  • mosaic、仿射变换、颜色空间转换
  • 训练随机翻转，随机缩放裁剪，测试随机缩放、随机中心裁剪

• 训练策略
  • 余弦退火
  • 带momentum的SGD
  • SAM优化器：相较于SGD/Adam在训练数据相对较少的时候容易过拟合陷入局部最小的问题，SAM可优化损失的平坦的最小值，改善过拟合现象，从何实现更好的泛化。
  • 可进一步参考的论文：Sharpness-Aware Minimization for Efficiently improving Generalization

可视化策略
类激活图 Grad-Cam 作为一种较为经典的卷积网络的可视化方法，进一步可以参考其论文方法 ： https://blog.csdn.net/weixin_41735859/article/details/106474768
论文参考：Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization ICCV 2017，IJCV 2019

三、展望

作为第一次CV的经典赛题参赛，比赛的成绩的确有些不尽如人意，在baseline上就和其他队伍拉开了一截。但是也是一次很好的练习和学习的机会，往往参考一些博客分享的代码不如自己在开源的论文项目上做改进，因为每个赛题的优秀解决方案针对该问题还是有一定的针对性的。

在选取数据增强和优化器等一系列超参数的时候，因为这是一个排列组合尝试的苦力活，注意积累经验，这次从其他的方案中还是学习到了一些较优的组合，不一定最fashion的组合或者在研究领域在论文中论述有效果的方法就是包治百病的，比如Focalloss这种其实在大多数CV赛题中相对比较乏力的。

最终还是要忠于奥卡姆剃刀原理。这一点参考kaggle的比赛相关上分技巧还有待以后的尝试比如：

• AugMix:将样本进行多次变换，然后进行插值
• Cutout:随机将样本区域进行遮盖
• GridMask：将图像均匀进行Cutout
• CutMix：随机裁剪并进行样本拼接
• AutoAugment：利用强化学习如何数据增强
• Fmix：将图片分为高频和低频信息并进行结合
• Adversarial Training：将对抗训练样本加入训练，在NLP比赛中有较大作用

而关于分类的损失函数的tricks：

关于上述这些后阶段还需要花些时间整理一套具有较好实用性的模板作为之后CV赛题的baseline来使用，包括框架的选择策略；华为云2019的垃圾分类挑战赛也是有较高的参考价值的：

https://developer.huaweicloud.com/hero/forum.php?mod=viewthread&tid=47549

虽然结果有些遗憾，但是很幸运有机会能够走完全部的流程，本来也是刚刚结束Pytorch框架学习后的一次练手，也是非常开心的，希望未来在其他的赛事中能够很好的吸取这一次的教训。最后非常感谢一起努力的队友和一起参赛的其他队伍的XD超哥（王鑫超）在初赛过程中的指导交流。