基于词颗粒度的中文WoBERT

词与字

字为单位的好处是：

1. 参数更少，不容易过拟合；
2. 不依赖于分词算法，避免边界切分错误
3. 没那么严重的稀疏性，基本上不会出现未登录词。

词为单位的好处是：

1. 序列变短，处理速度更快；

2. 在文本生成任务上，能缓解Exposure Bias问题；

3. 词义的不确定性更低，降低建模复杂度。