阁子
对于少的类别要注重召回而不是准确,由marco f1的性质决定,没召回的损失远远大于误召回的损失。比如label2的0类别。训练如果是softmax是拟合分布,不会考虑这点。可以考虑设置一些权重。 对于少的类别要注重召回而不是准确,由marco f1的性质决定,没召回的损失远远大于误召回的损失。比如label2的0类别。训练如果是softmax是拟合分布,不会考虑这点。可以考虑设置一些权重。
不同粒度分词提升模型多样性。
针对f1,考虑规则学习, 机器学习周志华15章需要翻看。
rnn+self attention
词库 用jieba直接分词 + google sentence piece
glove效果没有fasttext好
单模loss越小越好3.228
直接平均72.2,rank平均72.853
用logits模型权重 加和 做一个softmax得出类别概率 考虑类别分布的系数调整,argmax输出类别决策,概率也不错,但是概率不好系数
elmo最棒
valid集上10交叉,在上面cv,不把valid去训练,单个模型用整个valid看效果,多个模型集成用valid数据十交叉看效果
始终不让官方valid数据参与模型训练
不仅需要深度,更需要宽度,lstm比gru效果好, 400宽度
- stack-lstm,attention with generally pooling 单模71。加下规则可能达到71.5
- ngram2vec M.K 单模72.4
- loss方面
- a structured self-attentive sentence embedding
- enhancing sentence embedding with generalized pooling
- dynamic self-attention:computing attentioin over words dynamically for sentence embedding