BERT
文章平均质量分 90
小杨算法屋
这个作者很懒,什么都没留下…
展开
-
BERT:训练数据生成代码解读
1、简单介绍预训练数据的预处理代码文件:create_pretraining_data.py功能:在这个py文件中,主要功能是生成训练数据具体的训练命令如下所示:python create_pretraining_data.py \--input_file=./sample_text.txt \--output_file=/tmp/tf_examples....原创 2019-01-21 15:32:19 · 9192 阅读 · 1 评论 -
BERT相关论文、文章和代码资源汇总
BERT最近太火,蹭个热点,整理一下相关的资源,包括Paper, 代码和文章解读。1、Google官方:1) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding一切始于10月Google祭出的这篇Paper, 瞬间引爆整个AI圈包括自媒体圈: https://arxiv.org...转载 2018-12-17 19:43:50 · 1197 阅读 · 0 评论 -
BERT中文实战---命名实体识别
我一直做的是有关实体识别的任务,BERT已经火了有一段时间,也研究过一点,今天将自己对bert对识别实体的简单认识记录下来,希望与大家进行来讨论BERT官方Github地址:https://github.com/google-research/bert,其中对BERT模型进行了详细的介绍,更详细的可以查阅原文献:https://arxiv.org/abs/1810.04805bert可...原创 2018-12-17 14:20:21 · 36958 阅读 · 39 评论 -
BERT的理解
最近BERT大火,所以最近也开始研究这个模型,将自己的简单认识记录了下来从模型的创新角度看一般,创新不大,但是实验的效果太好了,基本刷新了很多NLP的任务的最好性能,另外一点是BERT具备广泛的通用性,就是说绝大部分NLP任务都可以采用类似的两阶段模式直接去提升效果。与最近的语言表征模型不同,BERT基于所有层中的左、右语境进行联合调整,来预训练深层双向表征。只需要增加一个输出层,就可以对...原创 2018-11-20 09:43:55 · 71140 阅读 · 8 评论 -
Transformer的理解
1、seq2seqseq2seq有两个RNN组成,一个是encoder,一个是decoder,举一个翻译的例子:“我是女孩”,翻译“I am a girl”输入序列:x = (x0,x1,x2,x3) ,x0=我,x1=是,x2=女,x3=孩目标序列:t = (t0,t1,t2,t3)=(I am a girl)通过encoder,把x=(x0,x1,x2,x3)映射为一个隐层状态...原创 2018-11-20 11:07:44 · 3621 阅读 · 0 评论 -
BERT模型的输出
0、概述想要获取获取bert模型的输出非常简单,使用 model.get_sequence_output()和model.get_pooled_output() 两个方法,但这两种方法针对NLP的任务需要进行一个选择1、output_layer = model.get_sequence_output()这个获取每个token的output 输出[batch_size, seq_length...原创 2019-06-14 09:44:39 · 20243 阅读 · 2 评论 -
BERT模型的输入
今天简单的介绍一下BERT的模型输入上图显示的是BERT输入表示总述:输入嵌入分别是token embeddings, segmentation embeddings 和position embeddings 的总和BERT最主要的组成部分便是,词向量(token embeddings)、段向量(segment embeddings)、位置向量(position embeddings...原创 2019-06-14 10:39:14 · 18427 阅读 · 3 评论