【潘潘碎碎念】针对图像分类近期所作的一些工作

1.数据集的简单说明

近期所作的主要工作是和图像分类有关的一些工作，所选择的图像的是和医学图像有关的，是一个四分类的图像数据集。具体的来源是在公开的数据集上下载的，具体是什么数据集就不方便说啦。

2.主要的一些工作流程

在前期的试验中，我首先使用yolov5中带的分类功能对该数据集进行了分类，从分类的结果上来看，分类的准确率达到了87%，同时，我也试着用VGG16网络，MobilenetV2，MobilenetV3，EfficientNetV2等等的网络对该数据集进行了测试。从测试的结果来看，VGG16和EfficientNetV2网络的分类准确率和yolov5的准确率相差不大（是不是间接说明了yolov5用来作分类网络的效果也挺好的！！！）。而Mobilenet系列的网络的分类准确率就并不理想。从分类网络以及后续的硬件实现的基础上考虑，选择了EfficientnetV2网络作为我进行后续工作的基础网络。

3.针对EfficientNetV2网络做的一些修改

1.由于在前期的工作中对yolov5的了解比较多，就想着是否能够将yolov5中的一些模块用到Efficientnet网络中。首先想到的是将yolo网络中用的比较多的CBL和SPPF模块，在将这两个模块分别加入到eff网络中后，CBL模块带来的效果是模型的参数量上涨了，但是分类的准确度上却没有变化。而由于SPPF本身巨大的参数量，导致了修改后的eff网络的参数量也很大，导致了我的电脑死机没运行成功。所以这俩都不太符合eff网络轻量化的原则。

2.然后就是考虑到了eff网络的se注意力机制部分。在对该部分进行修改时，考虑到参数的原因，主要进行了两方面的修改，一是改成ECAblock模块，二是将se中的全连接层进行修改。替换后的网络的参数量上，按照一修改参数下降了5M左右，分类的准确率上有所上升。按照二的修改，模型的参数量下降了4M左右，分类的准确度上也有提升且高于按照一修改的。后续的修改中应该会加入按照二修改的部分。

3.尝试了将模型中的普通卷积部分替换成其他修改过的卷积，但是都只是带来了参数量上的提升，没有识别精度上的提升，更甚者识别准确率反而下降了。

由于所作的试验并没有带来识别精度上的巨大提升，考虑到是不是数据集的问题，于是从数据集上开始下功夫。针对所选择用来分类的数据集进行一张一张的筛选，将其中有缺失，识别主体不完整的图片进行剔除，进行图片的筛选操作后模型的识别精度有所上涨。然后还针对筛选后的图片做了一个数据增强，使用图像增强后的数据集做检测得到的结果是分类精度上涨了2个点左右。

后续的想法是通过混淆矩阵看一下哪一类或者哪一些的图像在影响着分类的精度，然后最近也在学习可变形卷积的内容，想着将可变形卷积也加入到其中试一下。