- 博客(1)
- 收藏
- 关注
原创 基于的BERT的一些改进模型及思路
基于的BERT的一些改进模型及思路被遗弃的NSPUnderfitted的BERT数据和批大小的作用Drop掉dropout减少参数的技术嵌入层的参数化方法-- 矩阵分解层间共享参数改头换面的MLM动态掩码ELECTRA再次证明分类任务的优势插入链接与图片如何插入一段漂亮的代码片 BERT的成功主要在于几大因素:超大模型+超大语料;利用Transformer;新的Loss即MLM(Masked La...
2020-01-21 08:05:31 7617 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人