![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bert
修改资料-昵称
这个作者很懒,什么都没留下…
展开
-
Word embedding 到 Bert 历程(word embedding、RNN\LSTM\GRU、seq2seq、attention、transformer、bert)
下述内容是Word embedding 到 Bert 的主要流程,绿框是发展历程,蓝框是对应的简单介绍,详细内容参见后续介绍。原创 2020-12-30 17:44:01 · 370 阅读 · 0 评论 -
Bert源码解析--训练集生成
这一部分的源码主要实现在create_pretraining_data.py和tokenization.py两个脚本里。 先介绍主要部分:create_pretraining_data.py 这里小标1,2用的太多了,为了方便区分,我用了不同颜色(红、橙、绿)的小标表示,同一个颜色是一个部分的;脚本中用到的函数,我用紫色的进行了标识。 源码地址:https://github.com/goog...原创 2019-04-18 15:34:37 · 1238 阅读 · 2 评论