作者提出了一种基于n元笔画的中文词嵌入,可以有效的刻画中文的语义特征以及形态学特征。相对于现存的word2Vec,Glove,CWE,JWE以及GWE,cw2vec在语义分析,文本分类,命名实体识别任务中表现更好。
1.引言
与onehot词表征不同,低维的词嵌入可以更好的刻画自然语言的语义特征,广泛应用于词性分类,命名实体识别,机器翻译等领域。现存的方法主要是词级别的基于上下文信息学习发词表征,有学者研究sub-word级别的词表征应用于英语,德语,等,但是无法直接应用于中文中。
中文词的字符比英文更少,有学者研究了词级别的中文词表征,但是无法完全刻画词义,基于偏旁和组成的词表征噪声较大。如智的偏旁‘日’很难表达其智慧的意思,成分矢,口,日也一样。作者首次提出基于笔画级别的中文词表征。
2.cw2vec 模型
每个字分为5中笔画,ID为1-5如下图所示
通过如下操作将词转化为n元笔画模型。
2.2目标函数
词之间的相似度计算如下:
q为当前词语对应的一个n元笔画向量,而c是其对应的上下文词语的词向量。这项技术将当前词语拆解为其对应的n元笔画,但保留每一个上下文词语不进行拆解。S(w)为词语w所对应的n元笔画的集合。预测目标词的概率为
由于分母中的词汇量V太大,训练速度太慢,所以采用负采样的技术,选取部分的上下文作为负样本。具体可以参考:https://blog.csdn.net/wizardforcel/article/details/84075703。于是目标函数为:
其中,W和C分别为当前词语和上下文词语,σ是sigmoid函数,T(w)是当前词语划窗内的所有词语集合,D是训练语料的全部文本。C'为随机选取的词语,称为“负样例”,λ是负样例的个数,而Ec~p则表示负样例C'按照词频分布进行的采样,其中语料中出现次数越多的词语越容易被采样到。负采样分布的指数为3/4。
3.实验
3.1数据
语料来自中文维基百科,通过opencc工具把繁体字转化为简体字,通过ansj工具对语句进行分词。通过juhe DATA API在新华字典网站上爬取汉字的笔画顺序。
3.2基准和度量
词相似性任务:该任务用于评价模型刻画两个相邻词语义相似性的能力。在wordsim-240和wordsin-296数据集上使用秩相关系数来评价次嵌入的质量。
词推理任务:给定a-->b,和c推理c-->?用于评价模型推理语义相关性能力。使用3Cosadd和3CosMul函数推理第四个词。
文本分类任务:用于评价词嵌入模型在下游任务的表现。作者下载复旦语料库,选取其中5个话题,70%用于训练,30%用于测试。使用LIBLINEAR分类器,对文本分类。
命名实体识别:也是测试下游任务。使用BosonNLP NER 6C数据集,包含时间、地点、人、组织、公式、产品以及其他七类。70%训练,30%测试。
定性评价:作者给定目标词的前10个相近词进行定性分析。
3.3baseline算法
word2Vec(包含skip-gram和cbow):字级别的
Glove:字级别
CWE:中文字符级别
GWE:中文像素级别通过汉字的图像进行卷积提取特征
JWE:组成级别
为了统一比较,所以的词嵌入维度一致,训练集去除出现频率小于10的字,上下文窗大小以及负采样为5。
4.实验结果
4.1词相似和词推理,文本分类和命名实体识别
词嵌入为300维,结果为秩相关系数x100,结果表明基于中文的CWE,GWE以及JWE表现总体比word2vec以及Glove好,cw2vec表现超过了所有的模型!!!!!在推理任务提高了4个百分点。
4.3表现VS维度
结果如图所示,cw2vec同样打败了所有模型,在300维时表现最好。
4.4表现VS训练数据集大小
作者还研究了小数据集的影响,选取训练集的20%进行训练,测试结果如下
skipgram, cbow和GloVe算法由于没有利用中文的特性信息进行加强,所以在小语料上表现较差,而其余四个算法取得了不错的效果。cw2vec表现最好,CWE表现次好,两者的鲁棒性好,可以有效刻画子词的信息。
4.5定性分析
作者选取水污染和孙悟空做案例分析。第一个是环境相关的“水污染”,然后根据词向量利用向量夹角余弦找到与其语义最接近的词语。GWE找到了一些和“污”字相关的词语,比如“污泥”,“污渍”和“污垢”,而JWE则更加强调后两个字“污染”GloVe找到了一些奇怪的相近词语,比如“循环系统”,“神经系统”。CWE找到的相近词语均包含“水”和“污”这两个字,猜测是由于其利用汉字信息直接进行词向量加强的原因。此外,只有cw2vec找到了“水质”这个相关词语,分析认为是由于n元笔画和上下文信息对词向量共同作用的结果。第二个例子,特别选择了“孙悟空”这个词语,该角色出现在中国的名著《西游记》和知名日本动漫《七龙珠》中,cw2vec找到的均为相关的角色或著作名称。
5.相关工作与总结
作者在文中介绍了提取sub-word信息以及中文词嵌入的一些工作,还指出了模型的缺点,无法将一些字区分开如:土和士。