2020-04-08

##飞浆paddlepaddle学习心得

首先是百度算力卡是真的好用，特斯拉v100没的说，目前使用基本免费，剩下的就不多说了

• 参加百度的课程本着打算学一下百度口罩识别算法的目的来看一波当前目标检测怎么做的，虽然没有得到我想要的不过从学习中还是受益良多的
• 本次课程主要是几个图像分类网络的学习，主要是学习paddle框架的使用，百度官方呢也是非常到位，除了网络结构以外的所有代码，从数据处理到网络训练全部给出了。可以很方便的让新手集中精力去学习paddle框架。(新手可以去扒一份代码下来做成基础工程文件也是不错的)
• 再有就是网络训练部分，网络训练从来都不是那么简单的事情，尤其数据量小，越考验人的耐心去调整网络，调整参数，防过拟合，这里说下防过拟合的方法吧(1、正则化优化器框架里一般会有。2、数据增强(虽然paddle自带的数据增强方法还没完全学会)不过本次遇到问题的时候发现，数据增强并没有那么好用。调整网络才比较重要(运气也很重要)。3、dropout其实也可以通过直接减少网络参数量来达到，数据量大的时候依然建议dropout。4、EarlyStop网络过拟合的训练往往得到的结果很差。5、batchnorm归一化还是很好用的自行对比效果吧
• 结果调优，首先考虑的就是学习率paddle也是给出了很多学习率衰减的方式，很好上手基本看下api就会了，(支持中文搜索的api还是蛮好用的)。然后就是网络模型调整，分类网络，输入尺寸其实略有影响，分类网络的下采样倍数往往比较固定(当然也可以调整)，卷积到最后的特征层往往是决定因素，最终特征图大小决定了特征图的表征能力，也就决定了分类的结果。数据增强，个人觉得线下增强要更好一些，单个epoch以及单个batch学习的非线性更高些。
• paddlesilm，百度在模型压缩方面也是下了功夫的，对于我们这种伸手党来说还是不错的，因为主要不是学习模型压缩的，那么一个好用的框架就再好不过了。paddle已经提供了一些网络的压缩模型，效果也都挺好的。具体还没有上手使用，只是学习了一下，在现有的mobilenetv1 上面进行简单的训练，进行了量化以及模型剪枝，有兴趣的可以自行去百度ai平台实验。
• 学了半天的paddledetction，还没有上手，api不太实用啊，建议数据集处理以及训练模型放在一起，不要分开放，命令行不完整啊，不知道在训练哪个网络，也不知道对应的数据集在哪(可能我没看懂?)