NLP自然语言处理
文章平均质量分 85
NLP自然语言处理
Feather_74
这个作者很懒,什么都没留下…
展开
-
Word2Vec之CBOW详解
一、CBOW分为输入层 Input layer 、隐藏层 Hidden layer 、输出层 Output layer 。输入层Input layer输入的是 One-hot 编码的 vector 。什么是 One-hot 编码?One-hot 编码是将句子变成向量的过程。举个例子,一个 corpus (语料库)为“ I drink coffee everyday ”。假设将单词放入数组 str ,则该数组 str 长度为4, vector 也就是4维向量。str[0]=“I”,str[1]=“d原创 2021-10-23 14:29:02 · 8339 阅读 · 9 评论 -
李宏毅self-attention学习
bert是unsupervise train的transformer,transformer是Seq2seq model(补),transformer特殊的地方就是在Seq2seq model中用到了大量的self-attention layer。self-attention layer 做的是什么背景RNN要处理一个sequence,最常想到要拿来用的network架构就是RNN(补),RNN的输入就是一串sequence,输出又是另外一串sequence,RNN的问题是不容易被并行化。CNN原创 2021-07-11 12:23:25 · 185 阅读 · 1 评论 -
李宏毅BERT部分学习
BERTBERT是Bidirectional Encoder Representation from Transformers的缩写,BERT是transformer的encoder。BERT里面只需要搜集一大堆的句子,不需要有annotation就可以把encoder给tran出来。总而言之,BERT的功能就是一个句子丢进去给BERT,然后每一个句子都会吐一个出来embedding出来就结束了。BERT的Network架构是跟transformer的encoder架构是一样的,transformer的e原创 2021-07-09 23:51:37 · 258 阅读 · 3 评论