bert
Vinsmoke -Hou
这个作者很懒,什么都没留下…
展开
-
Bert核心代码解读
前面已经介绍了如何先测试一个bert任务,对这方面还不了解的可以看一下前面的博客。BERT 最主要的模型实现部分---BertModel,代码位于modeling.py 模块为了便于理解,下面的代码中的batch_size假设成8,seq_length长度是128。配置类(BertConfig)class BertConfig(object): """BERT模型的配置类....原创 2020-04-06 15:52:10 · 3934 阅读 · 2 评论 -
Bert模型详解和训练实例
前面已经介绍了transformer,理解了transformer,那么理解bert就简单多了。对transformer不是很了解的可以跳转到https://blog.csdn.net/one_super_dreamer/article/details/105181690Bert简介BERT来自Google的论文Pre-training of Deep Bidirectional Tran...原创 2020-03-30 20:03:04 · 25424 阅读 · 24 评论 -
深度学习在NLP领域的发展之Transformer
本文出自http://fancyerii.github.io/2019/03/09/transformer-illustrated/学习笔记,大家可以前去阅读。博主写的挺好的。简介Transformer模型来自论文Attention Is All You Need。这个模型最初是为了提高机器翻译的效率,它的Self-Attention机制和Position Encoding可以替代RNN。...原创 2020-03-29 20:11:28 · 3617 阅读 · 1 评论 -
解决DEFINE_string("result_path", "result", "Path for results") NameError:name 'os' is not defined
解决flags.DEFINE_string("result_path", "result", "Path for results") NameError: name 'os' is not defined方法一:这种问题的原因网上有人说是编码问题,解决方法如下:NameError: name 'os' is not defined 这个我在几个py文件的首行加入# -- ...原创 2020-02-21 14:31:56 · 5191 阅读 · 2 评论