![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
BERT
废柴当自强
家总要成,钱总要挣,奔走红尘,莫忘曾经是书生。
展开
-
后BERT时代
目录一、迁移学习与模型预训练:何去何从 迁移学习分类 何去何从现状分析未来可期二、各类代表性工作有监督模型预训练:CoVe自监督学习同时训练:CVT无监督模型预训练ELMoULMFiT & SiATLGPT/GPT-2BERTERNIE: Enhanced Representation through Kn...原创 2019-06-23 18:26:25 · 3376 阅读 · 0 评论 -
一本读懂BERT(实践篇)
目录一、什么是BERT?二、BERT安装三、预训练模型四、运行Fine-Tuning五、数据读取源码阅读(一) DataProcessor(二) MrpcProcessor六、分词源码阅读(一)FullTokenizer(二) WordpieceTokenizer七、run_classifier.py的main函数八、BertModel类九、自己...原创 2019-04-18 22:41:07 · 39800 阅读 · 35 评论 -
一文读懂BERT(原理篇)
一文读懂BERT(从原理到实践)2018年的10月11日,Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》,成功在 11 项 NLP 任务中取得 state of the art 的结果,赢得自然语言处理学界的一片赞誉之声。本文是对近期关于BERT论文、相关文章、代码进...原创 2019-04-19 08:37:17 · 288434 阅读 · 82 评论 -
60分钟带你了解ALBERT
ALBERT原文:《ALITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》中文预训练ALBERT模型来了:小模型登顶GLUE,Base版模型小10倍速度快1倍。Google一出手就是不一样,不再是BERT+的模式,而是做了个大改动。ALBERT模型是BERT的改进版,与最近其他State of the a...原创 2019-10-07 19:44:45 · 13026 阅读 · 0 评论