wordpiece

一、wordpiece原理

面试：

1、中文wordpiece是怎么做的？

• 中文没有wordpiece

2、中文的N-gram是如何做的？

一种基于char，一种基于word的。

基于char：

• 比如一种最传统的做法就是基于char的。如1-gram，“我来到北京清华大学”。即 我 来 到 北 京 清 华 大 学。比如2-gram， 我来 来到 到北 北京 京清 清华 华大 大学。

基于word：

• 先中文分词（jieba分词），我/ 来到/ 北京/ 清华大学。分开的每个都可以当做单独的token。这么做中文词表会非常大。所以需要对中文词表设定最低词频和最大词表大小。

3、oov如何解决？

• wordpiece和N-gram

4、中文oov如何解决？

• 中文如果是oov，不在词表范围，其实也不好解决。之前也有看过通过偏旁部首进行操作，具体效果也不太确定。