3天深入浅出NLP笔记（四）比赛思路进阶专题

模型调参

参数初始化方法：

模型调参技巧：

1. 数据打乱可以增加随机性。
2. BN用于图像；LN用于文本
3. 对超过阈值的梯度值进行规约。
4. dropout对神经元的删除。防止过拟合
5. adam优化器。分类常用。
6. 学习率 偏小
7. 激活函数
8. 其他超参数，loss优化方式，只是在一点有效
9. 全连接层
   
   
   

模型融合

交叉验证模型融合

1. 先试试Bert系列（5个模型）
2. 不同迭代次数的模型可以作为模型融合
3. 半监督加入数据量的多少
   

预训练模型

五个预训练模型：

文本输入的截断策略：

文本长，采用截断策略，截断文本之后不用 / 之前不用 / 前+后。

五种预训练模型：

Bert-WWM更好，比Bert好。


Albert ：bert模型每层Attention参数多。Albert 可以用参数共享的方式

fine-tune： 五种预训练模型结构：

Bert：字

Bert-WWM：词

AlBERT：
小版本的网络深度小，起始字符

Roberta：

XLNet：输出内容融合

特征工程

结合特征工程来做模型融合。

1. 情感次出现的次数
2. 将CNN模型的结果和Bert结果（基于词）进行融合。 ——推荐使用
3. 没有预训练模型时，用Word2vec来。
4. 不常用
   
   

模型融合总结

技巧部分——模型调参技巧：

1. 数据打乱可以增加随机性。
2. BN用于图像；LN用于文本
3. 对超过阈值的梯度值进行规约。
4. dropout对神经元的删除。防止过拟合
5. adam优化器。分类常用。
6. 学习率 偏小
7. 激活函数
8. 其他超参数，loss优化方式，只是在一点有效
9. 全连接层
   多模型融合（stacking）有效！！！：加入特征进行模型学习；基于预训练模型；Bert和NN Model融合。。。很多个模型投票；很多个模型stacking

作业