传统方法:textcnn文本分类中超参数对分类器的影响

引言

众所周知，文本分类是自然语言处理中最常见的任务之一。而TEXTCNN是每一个NLPer入门学习，deeplearning在自然语言处理中应用的首选。相对现在火热得BERT而言，TEXTCNN得结构相对来说更加简单，但其容易被理解，模型更小，训练更快，更易灵活调整得特点，仍然被广泛应用于工业界。现就textCNN使用中的超参数，以及调整超参数的结果做相应的总结。

实验

这里使用的TEXTCNN模型可以参考：中文文本分类项目
使用的数据量：85万+（由于是用专有领域的数据，具有隐私性，所以不便于公布）
**分类的类别：**1497类（样本间的数据分布表现得极为不均衡）
由于存在样本类别不均衡的情况，因此这里采用了Focal loss来作为损失函数来知道模型的训练，不了解FOCAL LOSS的小伙伴可以参考：何凯明老师的focal loss。简要描述其工作为：focal loss是以预测类别的置信度的大小来约定item奖惩程度的一种方式。

多分类的FOCAL LOSS代码如下：

class MultiCEFocalLoss(torch.nn.Module):
    def __init__(self, Config, gamma=2, alpha=None, reduction='mean'):
        super(MultiCEFocalLoss, self).__init__()
        if alpha is None:
            self.alpha = Variable(torch.ones(Config.num_classes, 1))
        else:
            self.alpha = alpha
        self.gamma = gamma
        self.reduction = reduction
        self.class_num = Config.num_classes


    def forward(self, predict, target):
        pt = F.softmax(predict, dim=1) # softmmax获取预测概率
        class_mask = F.one_hot(target, self.class_num) #获取target的one hot编码
        ids = target.view(-1, 1)
        alpha = self.alpha[ids.data.view(-1)].cuda() # 注意，这里的alpha是给定的一个list(tensor
#),里面的元素分别是每一个类的权重因子
        probs = (pt * class_mask).sum(1).view(-1, 1) # 利用onehot作为mask，提取对应的pt
        log_p = probs.log()
# 同样，原始ce上增加一个动态权重衰减因子
        loss = -alpha * (torch.pow((1 - probs), self.gamma)) * log_p

        if self.reduction == 'mean':
            loss = loss.mean()
        elif self.reduction == 'sum':
            loss = loss.sum()
        return loss

实验涉及到超参数如下：

drop out	batch_size	learn rate	pad_size	embedding freeze	epoch
丢弃神经单元的比例	训练时的批大小	学习率	句子的最大填充长度	训练时是否冻结初始向量	训练迭代次数

实验结果于结论

为了验证每个超参数对实验结果的影响，这里通过贪心算法的思想+控制变量法来实现：

base实现的超参数设计如下（acc=70.09%）：

drop out	batch_size	learn rate	pad_size	embedding freeze	epoch
0.2	128	1e-4	118	true	50

对比实验一(acc=70.69%)：

drop out	batch_size	learn rate	pad_size	embedding freeze	epoch
0.5	128	1e-4	118	true	50

结论： 适当的增加drop_out值有助于提升模型效果。

对比实验二：
以实验一的超参数为基准对lr进行调整。

drop out	batch_size	learn rate	pad_size	embedding freeze	epoch
0.5	128	1e-3	118	true	50

以上超参数的到的结果：acc=63.13%

drop out	batch_size	learn rate	pad_size	embedding freeze	epoch
0.5	128	1e-5	118	true	50

以上超参数的到的结果：acc=69.79%

drop out	batch_size	learn rate	pad_size	embedding freeze	epoch
0.5	128	5e-5	118	true	50

以上超参数的到的结果：acc=70.81%

观察可知,lr过大，模型往往很难找到最优点，lr过小模型往往收敛困难。建议： 用少量数据进行多次实验，先现定出lr的最优的取值空间，再取适当的值。

对比实验三：
以实验二的超参数的最优结果为基准对pad_size进行调整。

drop out	batch_size	learn rate	pad_size	embedding freeze	epoch
0.5	128	5e-5	64	true	50

以上超参数的到的结果：acc=71.16%
结论： 合理的pad_size可以保留更多有用信息，pad_size过大会填充大量无用信息，pad_size过小会丢失重要信息。这个需要根据实验的语料进行合理的统计和调整。

对比实验四：
以实验三的超参数的最优结果为基准对embedding_freeze进行调整。

drop out	batch_size	learn rate	pad_size	embedding freeze	epoch
0.5	128	5e-5	64	flase	50

以上超参数的到的结果：acc=72.21%

结论： 在训练过程中开放预训练词向量的更新，可以有助于提升模型的表达能力。可能你会问，既然如此，那为何不直接为每个词随机生成一个词向量，而言调用预训练好的词向量模型呢，那是因为，预训练好的词向量模型可以有效帮助分类器前期快速收敛。当然如果你的资源特别丰富，又有足够多的时间，也时没有问题的，两种方式都可以,最终都会达到差不多的效果。