![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
finetune
叶落叶子
这个作者很懒,什么都没留下…
展开
-
Bert/Transformer汇总
文章目录 bert微调 transformer bert学习 预训练模型原创 2021-05-14 11:41:49 · 102 阅读 · 0 评论 -
Bert&transformer
1.transformer transformer self-attention 当前编码的词和整个句子所有词做attention,权重加在所有句子上获得当前的表示 encoder-decoder-attention 当前解码的单元和编码器的所有输出做attention,权重加在所有编码输出上,获得当前的表示 1.1 self-attention 单头 多头 1.2 残差 2.Bert Bert- ...原创 2020-05-25 15:53:23 · 170 阅读 · 0 评论 -
finetune与Bert
1 直接finetune 2 layer finetune 有一层不使用与训练参数 3ULMFiT Universal Language Model Fine-tuning for Text Classification 逐层解冻原创 2020-04-20 22:36:28 · 602 阅读 · 0 评论