更新流程↓
Task 1: 简介和词向量Word Vectors
Task 2: 词向量和词义Word Senses
Task 3: 子词模型Subword Models
Task 4: Contextual Word Embeddings
Task 5: 大作业
日本人综艺感从昭和时代开始就这么强了吗?
今日份的舒适
常见餐桌礼仪
文章目录
0. 有关语言学(linguistics)的启发
- 语音学(Phonetics)是一种非常基本的理论,只要是正常人,有着相同的人体器官和相同的发声结构,就会遵循着相同的发声规则和原理。
- 语音体系(Phonology)是有语义的声音的合集,各国各文明的人都会制定自己的语音体系。
- 音素(Phoneme)是语音中划分出来的最小的语音单位,分为元音和辅音。
国际音标(由音素构成)按理来说可以表示所有的语音,但是会发现好多语音是没有语义的,这时我们采取的办法就是看音素的下一级(part of words)。
同样的思想我们可以用在深度学习上,如果我们在做翻译任务(Neural Machine Translation,NMT)时发现一些没有含义的单词(也就是不在词汇库中的单词),我们可以通过找比单词更基本的成分来解决问题。
现实生活中做翻译任务时我们确实需要处理很大的,很开放的词汇(所以上述讨论是有意义的):
- 非常丰富的词形
- 音译的单词(例如人名)
- 非正式的拼写(Gooood=Good,u=you,r=are)
在之前学习的word2vec和GloVe是以单词作为最小基本单位的,这样虽然能够用词向量表示词库中的单词,但是若出现OOV(out-of-vocabulary)即词库中没有的单词,而且对于单词的一些词法上的修饰(morphology)处理的也不是很好。
所以利用比word更小的基本单位来建立模型能更好的解决这些问题。本节思考采用n-gram思想训练Word Vector模型,也就是FastText。
1. Word-Level Models(单词级模型)
以单词为最小基本单位的模型,例如word2vec和GloVe。
- 优点:能够较为完美地用词向量表示词库中的单词。
- 缺点:会出现OOV(out-of-vocabulary)即词库中没有的单词,例如“Gooooood”。且对于一些单词词法上的修饰(morphology)处理不是很好。
2. Character-Level Models(字符级模型)
以字符Character为最小基本单位的模型,通常针对字符级模型有两种处理思路:
- 是把原有的词向量分解处理。先生成character-embedding, 然后为OOV生成word-embedding, 即使用character-embedding来组成word-embedding。
- 把连接的语言分解成字符。只生成character-embedding,不考虑word级别。
这两种的方法共同的优缺点如下:
优点
- 能够解决 Word-level 所存在的 OOV 问题。
- 拼写类似的单词 具有类似的 embedding。
缺点:
- 由于从单词替换成字符导致处理的序列变长,速度变慢。
- 由于序列变长,数据变得稀疏,数据之间的联系的距离变大,不利于学习,训练速度降低。
为了解决以上缺点问题,Jason Lee, Kyunghyun Cho, Thomas Hoffmann于2017年发表了论文Fully Character-Level Neural Machine Translation without Explicit Segmentation,提出了利用多层conv和pooling和 highway layer的方式来解决该问题来解决了这些问题。
该论文的思路如下所示:
- 输入的字符首先需要经过Character embedding层,并被转化为character embeddings表示。
- 采用不同窗口大小的卷积核对输入字符的character embeddings表示进行卷积操作,论文中采用的窗口的大小分别为 3、4、5 ,也就是说学习Character-level的3-gram、4-gram、5-gram。
- 对不同卷积层的卷积结果进行max-pooling操作,即捕获其最显著特征生成segment embedding。
- segment embedding经过Highway Network(有些类似于Residual network,方便深层网络中信息的流通,不过加入了一些控制信息流量的gate)。
- 输出结果,再经过单层BiGRU,得到最终的encoder output。
- 之后,decoder再利用Attention机制以及character level GRU进行decode。
通过这种方式不仅能够解决Word-level所存在的OOV问题,而且能够捕获句子的3-gram、4-gram、5-gram信息,这个也是后期FastText的想法雏形。
3. Subword Models(子词模型)
这是介于Word-Level和Character-Level之间的Subword models,主要有两种趋势,一种是仍采用和Word-Level相同的结构,只不过采用更小的单元——Word pieces,名为Byte Pair Encoding(BPE);另外一种是采用混合结构,Word和Character都有,名为SentencePiece。
3.1. Byte Pair Encoding
BPE是一种压缩算法,是一种自下而上的算法。将单词作为单词片段处理(Word pieces),以便于处理未出现单词。在NMT任务中,先将训练集单词划分成片段(利用BPE),然后将片段随机赋值后放到RNNs或CNNs中训练出片段的embedding,再将片段组合得出Word-embedding后,进行NMT工作。这样如果在训练集或者其他情况中,遇到生僻词或者未登录词时,直接利用片段进行组合来进行NMT任务。
1.首先将统计text中单词,做成词汇表(频率-单词),然后按照unigram进行分解。