浅谈Positional Encoding(位置编码)和WordPiece

1. Positional Encoding

        之所以用sin, cos 是因为它们的值域在[-1, 1]之间,  这里针对单个词向量内部采用cos 和sin 交换映射, 只是为了丰富位置信息. 假设采用0, 1, 2, .... 这种递增式进行编码, 它和词向量进行合并时, 会干扰词向量, 并会造成数据的严重倾斜.   

        另外, PE(pos+k,  2i)  是有PE(pos, 2i)进行线性表示的.  因为PE(k, 2i+1)是常量,  所以就有的偏置.. 也就是某种意义上的相对位置编码.    

2. WordPiece

      WordPiece的一种主要的实现方式叫做BPE（Byte-Pair Encoding）双字节编码。BPE的过程可以理解为把一个单词再拆分，使得我们的此表会变得精简，并且寓意更加清晰。比如"loved","loving","loves"这三个单词。其实本身的语义都是“爱”的意思，但是如果我们以单词为单位，那它们就算不一样的词，在英语中不同后缀的词非常的多，就会使得词表变的很大，训练速度变慢，训练的效果也不是太好。BPE算法通过训练，能够把上面的3个单词拆分成"lov","ed","ing","es"几部分，这样可以把词的本身的意思和时态分开，有效的减少了词表的数量。

       2.1 BPE算法:

        BPE的大概训练过程：首先将词分成一个一个的字符，然后在词的范围内统计字符对出现的次数，每次将次数最多的字符对保存起来，直到循环次数结束。

        模拟一下BPE算法。

        我们原始词表如下：

        {'lower ': 2,   'newest ': 6,   'widest ': 3,  'low ': 5}

          其中的key是词表的单词拆分层字母，再加代表结尾，value代表词出现的频率。

          下面我们每一步在整张词表中找出频率最高相邻序列，并把它合并，依次循环。

• 原始词表 {'l o w e r </w>':  2,   'n e w e s t </w>': 6,    'w i d e s t </w>': 3,    'l o w </w>': 5}
• 出现最频繁的序列 ('s',  't') 9
• 合并最频繁的序列后的词表 {'n e w e st </w>': 6,  'l o w e r </w>': 2,  'w i d e st </w>': 3,  'l o w </w>': 5}
• 出现最频繁的序列 ('e', 'st') 9
• 合并最频繁的序列后的词表 {'l o w e r </w>': 2, 'l o w </w>': 5, 'w i d est </w>': 3, 'n e w est </w>': 6}
• 出现最频繁的序列 ('est', '</w>') 9
• 合并最频繁的序列后的词表 {'w i d est</w>': 3, 'l o w e r </w>': 2, 'n e w est</w>': 6, 'l o w </w>': 5}
• 出现最频繁的序列 ('l', 'o') 7
• 合并最频繁的序列后的词表 {'w i d est</w>': 3, 'lo w e r </w>': 2, 'n e w est</w>': 6, 'lo w </w>': 5}
• 出现最频繁的序列 ('lo', 'w') 7
• 合并最频繁的序列后的词表 {'w i d est</w>': 3, 'low e r </w>': 2, 'n e w est</w>': 6, 'low </w>': 5}
• 出现最频繁的序列 ('n', 'e') 6
• 合并最频繁的序列后的词表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne w est</w>': 6, 'low </w>': 5}
• 出现最频繁的序列 ('w', 'est</w>') 6
• 合并最频繁的序列后的词表 {'w i d est</w>': 3, 'low e r </w>': 2, 'ne west</w>': 6, 'low </w>': 5}
• 出现最频繁的序列 ('ne', 'west</w>') 6
• 合并最频繁的序列后的词表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low </w>': 5}
• 出现最频繁的序列 ('low', '</w>') 5
• 合并最频繁的序列后的词表 {'w i d est</w>': 3, 'low e r </w>': 2, 'newest</w>': 6, 'low</w>': 5}
• 出现最频繁的序列 ('i', 'd') 3
• 合并最频繁的序列后的词表 {'w id est</w>': 3, 'newest</w>': 6, 'low</w>': 5, 'low e r </w>': 2} 

 

          这样我们通过BPE得到了更加合适的词表了，这个词表可能会出现一些不是单词的组合，但是这个本身是有意义的一种形式，加速NLP的学习，提升不同词之间的语义的区分度。