3天深入浅出NLP笔记(四)比赛思路进阶专题
模型调参
参数初始化方法:
模型调参技巧:
- 数据打乱可以增加随机性。
- BN用于图像;LN用于文本
- 对超过阈值的梯度值进行规约。
- dropout对神经元的删除。防止过拟合
- adam优化器。分类常用。
- 学习率 偏小
- 激活函数
- 其他超参数,loss优化方式,只是在一点有效
- 全连接层
模型融合
交叉验证模型融合
- 先试试Bert系列(5个模型)
- 不同迭代次数的模型可以作为模型融合
- 半监督加入数据量的多少
预训练模型
五个预训练模型:
文本输入的截断策略:
文本长,采用截断策略,截断文本之后不用 / 之前不用 / 前+后。
五种预训练模型:
Bert-WWM更好,比Bert好。
Albert :bert模型每层Attention参数多。Albert 可以用参数共享的方式
fine-tune: 五种预训练模型结构:
Bert:字
Bert-WWM:词
AlBERT:
小版本的网络深度小,起始字符
Roberta:
XLNet:输出内容融合
特征工程
结合特征工程来做模型融合。
- 情感次出现的次数
- 将CNN模型的结果和Bert结果(基于词)进行融合。 ——推荐使用
- 没有预训练模型时,用Word2vec来。
- 不常用
模型融合总结
技巧部分——模型调参技巧:
- 数据打乱可以增加随机性。
- BN用于图像;LN用于文本
- 对超过阈值的梯度值进行规约。
- dropout对神经元的删除。防止过拟合
- adam优化器。分类常用。
- 学习率 偏小
- 激活函数
- 其他超参数,loss优化方式,只是在一点有效
- 全连接层
多模型融合(stacking)有效!!!:加入特征进行模型学习;基于预训练模型;Bert和NN Model融合。。。很多个模型投票;很多个模型stacking