最近做多分类任务的时候遇到一个问题,样本的数量偏差大,数据不平衡,此时,准确度指标意义不大。
如果不同分类间的样本量差异达到超过10倍就需要引起警觉并考虑处理该问题,超过20倍就要一定要解决该问题。
很多博客都指出了处理数据不平衡的一些算法,包括对数量多的样本进行欠采样,对数量较少的样本进行过采样来使数据尽可能平衡。构造1:1的数据。
关于对于实际数据,欠采样与过采样的代码实现方式还在进一步研究当中,我的输入是图片,输出是8类标签(多标签分类任务)。
很多博客里面提出使用imblearn库来对数据进行过采样与欠采样处理,但是不确定是否是其他库的原因,导致这个库的安装一直失败,后续怎么对数据处理,仍在研究中。