![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
预训练模型
预训练模型
colourmind
本硕毕业于华中科技大学物流系统工程,毕业后在广州玄武无线科技有限公司从事JAVA开发。一年后离职,寻求转行;经过一年自学后成功转行;现在武汉科大讯飞____科讯嘉联___技术运营部,担任NLP算法工程师。
展开
-
Bert模型冻结指定参数进行训练
由于bert模型具有12层,参数量达一亿,bert模型做微调有的时候就需要只训练部分参数,那么就需要把其他的参数冻结掉,固定住,又能微调bert模型,还能提高模型训练的效率。这个就需要用到parameter的requires_grad的属性,来冻结和放开参数。首先我们看看bert模型的具体参数有那些:bert.embeddings.word_embeddings.weight...原创 2020-01-16 15:58:05 · 16135 阅读 · 4 评论 -
bert模型简介、transformers中bert模型源码阅读、分类任务实战和难点总结
1、bert模型简介和原理回顾2、bert模型源码理解3、bert模型任务实战4、bert模型一些难点原创 2020-05-09 23:59:05 · 11099 阅读 · 16 评论 -
关于Bert模型参数的分布
参数分布Bert模型的版本如下:BERT-Base, Uncased: 12-layer, 768-hidden, 12-heads, 110M parametersBERT-Large, Uncased: 24-layer, 1024-hidden, 16-heads, 340M parametersBERT-Base, Cased: 12-layer, 768-hidden, ...原创 2019-09-06 00:09:21 · 11028 阅读 · 0 评论