基于属性和规则的未登录词识别

           基于属性和规则的未登录词识别
                                孙广范*
（中国科学院声学研究所 100080）
E-mail: Morgan2001_sun@sohu.com

摘要：本文描述了一种基于属性和规则的人名、地名和译名等三种未登录词的识别方法。在统计得到的未登录词用字表中，对每个字添加描述其是否能充当未登录词词素的可能性的属性及属性值信息。在判定规则中利用这些属性、属性值及相关的上下文信息来判别未登录词。文中详细列举了一些采用本文描述的方法的未登录词判定规则。
关键词：未登录词，属性，判定规则

1、 引言
在中文信息处理中，未登录词的识别是一个难点。未登录词的误判和漏判将干扰HNC句类分析的正确进行，因此未登录词识别技术对HNC句类分析具有重要意义。见诸报道的未登录词识别系统中运用的主要方法有基于语料库、统计方法、规则等。这些方法在未登录词识别研究方面取得了一些进展，但均存在可以一些需要改进的方面。本文提出了一种基于属性和规则相结合的未登录词识别方法来解决汉语中人名、地名、译名这三种未登录词的识别问题，其特点是对于统计所得的常用未登录词用字表中的字，对其充当未登录词词素的能力和不充当未登录词词素使用的可能性进行综合考虑，并用属性及不同的属性值来描述其差异。同时，在判定规则中利用未登录词出现的上下文中相关词类、句法、语义约束等特征信息来帮助判别。

二、未登录词特点分析
本文中的未登录词识别主要指汉语中人名、地名、译名的识别。对于人名，由于可能
的中文姓名数量极为庞大，因而不可能通过词典穷举收录；对于地名，县级以上的地名虽然可以穷尽收录，但其它小地名由于太多、太杂不宜采用穷尽收录法；对于译名，因其太多也无法穷尽收录。因此，只能寻找其它方法来处理。统计和规则相结合的方法是一种有效的识别方法。
假定一个句子经过最大匹配法粗分后的词（或字）串（每个Wj为一个字或词）为：
    W1+W2+W3+…+Wn    
欲判断其中词（或字）串Wi+Wi+1+Wi+m合起来可否形成一个未登录词，一般应该根据：
（1） 串内元素的前后结合成词的能力大小
（2） 串外上下文的特征信息
（3） 此串在其它已经处理过的句子中是否已经判定为未登录词

* 本文得到国家973项目“G1998030506”的支持

对于（3），一般应该设计一个机制，将处理过的句子中的未登录词记录下来，对新句子进行分词时将子串与其比较，即可利用以前其它句子的已经判定的信息；这种处理方法需要超越当今许多处理系统以单个句子为处理单位的限制。本文对此不详细讨论。这里重点讨论（1）和（2）两方面的信息的利用问题。
对于（1），一个串内元素Wi+j (0=< j <=m)与前后元素结合成词的可能性存在很大差别。一般而言，当Wi+j是单字并且在相应未登录词用字表中时，其同其它元素结合的可能性较大（此时不同单字的结合能力大小也有差别）。三种未登录词（人名、地名和译名）的词内各字组合规律也存在差别。
对于（2），对于串的上下文信息，考虑到人名、地名、译名这几种未登录词一般是名词，在句子中通常所处的位置有其特点，因此可以利用当前串前后相邻词的特点来帮助判别。
现代汉语中双字词化倾向明显，单字词量较少。经过最大匹配法切分及一些交集歧义和组合歧义校正后，剩下的单字已经隐含了一般不与其它词组合成词典中已登录词的信息（“基本”之说是考虑到个别交集歧义和组合歧义校正没处理好），因而充分利用统计得到的字表（或词表）资源是很有帮助的。当然，在未登录词用字表中一些单字可以独立成词使用，这对未登录词的识别是一个干扰因素，判别时需要认真考虑。
三、属性和规则原语定义
在进行未登录词判别时，我们利用了从二十万人名、四万译名及三万地名中统计得到的统计字及其出现频次表。由于统计字表中一个字的出现频次的大小只是此字充当未登录词词素使用的可能性大小的体现，而未体现此字不充当未登录词词素使用的可能性的大小，因此若单纯考虑表中字的出现频次信息，则仅考虑了此字充当未登录词词素的可能性，而对其不充当未登录词词素使用的可能性则未能充分体现出来。例如，在姓用字表中，‘王’字出现的频次很高，说明‘王’字作姓使用充当人名词素的能力很强；但是，‘王’字不作姓使用而独立成词使用的可能性大小并未体现出来。实际上，‘王’字除作姓使用外也可以独立成词使用。而‘邓’、‘俞’、‘姚’、‘刘’等字的出现频次虽然不是特别高，但其一般仅作姓充当人名词素使用而不独立成词使用。因此，应该设置全面体现表中一个字充当未登录词词素使用的能力和不作未登录词词素使用的综合属性信息来描述两方面的综合特性，不同的属性值体现综合特性方面的差异。
人名、地名及译名的统计字表（词表）情况如下：
TAB0： 姓氏用字表，包括734个字；   TAB1：单字名用字表，包括1670个字；
TAB21：双字名首字表，包括1854个字；TAB22：双字名尾字表，包括2000个字；
TAB3： 译名用字表，包括437个字；  
TAB4： 称谓词表，包括4434个词（其中包括一些表示人但一般不作称谓的词）；
TAB5： 地名首字表，包括1207个字；  TAB6：   地名中字表，包括595个字；
TAB7： 地名尾字表，包括631个字；
与上述各表有关的属性、属性值及规则原语定义如下：
对TAB0：
            属性值0：只能做姓；
            属性值1：只能做姓，但不一定能接双字名；
            属性值3：能做姓，应有个性规则；
          属性值4：能做姓，应有个性规则，不符合共性规则；
TAB0[] 表示当前字在姓氏表中，属性值不限（其它表的“[]”的意义类似）
TAB0[N] 表示当前字在不姓氏表中；（对其它表的“[N]”的意义类似）
TAB0[0] 表示当前字在姓氏表中，且属性值为0；
TAB0[VAL<2] 表示当前字在姓氏表中，且属性值<2；
     （其它表的含“VAL”的意义类似）
对TAB1：
属性值0：作单字名用字可能性大，不作单字名用字可能性很小；
属性值1：除了属性值为0的表中其它字；
对TAB21：
属性值0：作双字名首字可能性大，不作双字名首字可能性很小；
属性值1：除了属性值为0的表中其它字；
对TAB22：
属性值0：作双字名尾字可能性大，不作双字名尾字可能性很小；
属性值1：除了属性值为0的表中其它字；
对TAB3：
      属性值0：作外名用字可能性大，不作外名用字可能性很小；
      属性值1：作外名用字可能性较大，不作外名用字可能性小；
      属性值2：作外名用字可能性较大，不作外名用字可能性较大；
      属性值3：作外名用字可能性小，不作外名用字可能性大；
对TAB4：
      属性值0：只能作前称谓；      属性值1：作前后称谓均可；
      属性值2：只能作后称谓；      属性值3：一般不作称谓；
对TAB5：
      属性值0：作地名首字的可能性大，不作地名首字的可能性小；
      属性值1：除了属性值为0的表中其它字；
对TAB6：
      属性值0：作地名中字的可能性大，不作地名中字的可能性小；
      属性值1：除了属性值为0的表中其它字；
对TAB7：
      属性值0：作地名尾字的可能性大，不作地名尾字的可能性小；
      属性值1：除了属性值为0的表中其它字；

BIND[i,j]   表示表示将i,…,j元素（一般为字）合并为一个词；
||          表示‘或’；   |     表示‘或’；  ！   表示‘非’；
$           表示规则结束符；       [W*]     译名规则引出符；
[C*]        人名规则引出符；       [D*]    地名规则引出符；
WORDLEN[2]  表示本结点是2字词；  
POST[B]     表示本节点处于句首或前接标点符号；
-->         产生式规则中条件和动作间的连接符；
CAT         表示词类；   CHI         表示节点对应的汉语；
词类标记符号：
V：  动词；    N：  名词；  A：  形容词；   F：  副词；
I：  介词；    J：  连词；  E：  助词；     G：  助动词；
L：  方位词；  U：  数词；  S：  量词；     R：  代词；   P：  标点；
“CAT[N] M_SEM[H]”：  地名名词；“CAT[N] M_SEM[A]”：  表示人的名词；
“CAT[I] C_OBJ[H]”：  可以带处所名词宾语的介词；
“CAT[V] C_OBJ[H]”：  可以带处所名词宾语的动词；
“CAT[V] C_OBJ[A]”：  可以带表示人的名词宾语的动词；

四、未登录词判定规则
1．译名判定规则
[W7](0){TAB3[VAL<2]}+(1){TAB3[]}+(2){TAB3[]}+(3){TAB3[]}+(4){TAB3[]}+(5){TAB3[]}+(6){TAB3[VAL<2]}
-->(0){BIND[0,6];}$
[W6](0){TAB3[VAL<2]}+(1){TAB3[]}+(2){TAB3[]}+(3){TAB3[]}+(4){TAB3[]}+(5){TAB3[VAL<2]}-->(0){BIND[0,5];}$
[W5](0){TAB3[VAL<2]}+(1){TAB3[]}+(2){TAB3[]}+(3){TAB3[]}+(4){TAB3[VAL<2]}-->(0){BIND[0,4];}$
[W4] (-1){CAT![U|R]}+(0){TAB3[VAL<2]}+(1){TAB3[]}+(2){TAB3[]}+(3){TAB3[0]}-->(0){BIND[0,3];}$
[W4] (-1){CAT[U|R]}+(0){TAB3[VAL<2] CAT![S]}+(1){TAB3[]}+(2){TAB3[]}+(3){TAB3[VAL<2]}-->(0){BIND[0,3];}$
[W4] (0){TAB3[VAL<2] POST[B]}+(1){TAB3[]}+(2){TAB3[]}+(3){TAB3[VAL<2]}-->(0){BIND[0,3];}$
[W3] (0){TAB3[VAL<2]}+(1){TAB3[]}+(2){TAB3[VAL<2]}+(3){TAB4[1|2]}-->(0){BIND[0,2];}$
[W3] (0){TAB3[VAL<2]}+(1){TAB3[]}+(2){TAB3[VAL<2]}+(3){CHI[总|副|代理|代|助理|常务|名誉]}
+(4){TAB4[1|2]}-->(0){BIND[0,2];}$
[W3] (0){TAB3[0]}+(1){TAB3[VAL<2]}+(2){TAB3[VAL<2]}-->(0){BIND[0,2];}$
[W3] (0){TAB3[VAL<2] POST[B]}+(1){TAB3[]}+(2){TAB3[0]}-->(0){BIND[0,2];}$
[W3] (0){TAB3[VAL<2] POST[B]}+(1){TAB3[]}+(2){TAB3[VAL<2]}+(3){CAT[V]}-->(0){BIND[0,2];}$
[W3] (0){TAB3[VAL<2] POST[B]}+(1){TAB3[]}+(2){TAB3[VAL<2]}+(3){CAT[F|I|L|P|G|E|U]}-->(0){BIND[0,2];}$
[W3] (-1){TAB4[VAL<2]}+(0){TAB3[VAL<2]}+(1){TAB3[]}+(2){TAB3[VAL<2]}-->(0){BIND[0,2];}$
[W3] (-1){CAT![U|R]}+(0){TAB3[VAL<2]}+(1){TAB3[]}+(2){TAB3[0]}-->(0){BIND[0,2];}$
[W3] (-1){CAT![U|R]}+(0){TAB3[VAL<2]}+(1){TAB3[]}+(2){TAB3[VAL<2]}+(3){TAB3[N] CAT[V]}-->(0){BIND[0,2];}$
[W3] (-1){CAT![U|R]}+(0){TAB3[VAL<2]}+(1){TAB3[]}+(2){TAB3[VAL<2]}+(3){CAT[F|I|L|P|G|E|U]}-->(0){BIND[0,2];}$
[W3] (-1){CAT[U|R]}+(0){TAB3[VAL<2] CAT![S]}+(1){TAB3[VAL<2]}+(2){TAB3[0]}-->(0){BIND[0,2];}$
[W3] (-1){CAT[U|R]}+(0){TAB3[VAL<2] CAT![S]}+(1){TAB3[VAL<2]}+(2){TAB3[VAL<2]}+(3){CAT[V|F|I|L|P|G|E|U]}
-->(0){BIND[0,2];}$
[W3] (-1){CAT[V] C_OBJ[A|H]}+(0){TAB3[VAL<2]}+(1){TAB3[VAL<2]}+(2){TAB3[VAL<2]}+(3){CAT[V|P]}-->(0){BIND[0,2];}$
[W3] (-2){CAT[N] M_SEM[A|H]}+(-1){CHI[和|与|、]}+(0){TAB3[VAL<2]}
+(1){TAB3[VAL<2]}+(2){TAB3[VAL<2]}+(3){CAT[V|P]}-->(0){BIND[0,2];}$
[W2] (-1){TAB4[VAL<2]}+(0){TAB3[VAL<2]}+(1){TAB3[VAL<2]}-->(0){BIND[0,1];}$
[W2] (-2){CAT[N] M_SEM[A|H]}+(-1){CHI[和|与|、]}+(0){TAB3[VAL<2]}
+(1){TAB3[VAL<2]}+(2){CAT[V|P|A|G|F]}-->(0){BIND[0,1];}$
[W2] (0){TAB3[1]}+(1){TAB3[1]}+(2){CHI[总|副|代理|代|助理|常务|名誉]}+(3){TAB4[1|2]}-->(0){BIND[0,1];}$
[W2] (0){TAB3[VAL<2]}+(1){TAB3[VAL<2]}+(2){TAB4[1|2]}-->(0){BIND[0,1];}$
[W2] (0){TAB3[0]}+(1){TAB3[0]}-->(0){BIND[0,1];}$
[W2] (-1){CAT[V] C_OBJ[A|H]}+(0){TAB3[VAL<2]}+(1){TAB3[VAL<2]}+(2){CAT[V|P]}-->(0){BIND[0,1];}$
[W2] (0){TAB3[1]}+(1){TAB3[1]}+(2){CHI[·]}-->(0){BIND[0,1];}$
[W2] (-1){CHI[·]}+(0){TAB3[VAL<2]}+(1){TAB3[VAL<2]}-->(0){BIND[0,1];}$
[W1] (-1){CHI[·]}+(0){TAB3[VAL<2]}+(1){TAB3[N]}-->(0){BIND[0,0];}$
[W1] (0){TAB3[VAL<2]}+(1){CHI[·]}+(2){TAB3[]}-->(0){BIND[0,0];}$
2．人名判定规则
[C3] (-1){CAT![U|N]}+(0){TAB0[VAL<4]}+(1){TAB21[0]}+(2){TAB22[0]}+(3){CAT[I|J|E|L|F|P|V]}-->(0){BIND[0,2];}$
[C3] (-1){TAB4[VAL<2]}+(0){TAB0[VAL<4]}+(1){TAB21[0]}+(2){TAB22[0]}+(3){CAT[V|P|I|E|L|F]}-->(0){BIND[0,2];}$
[C3] (0){TAB0[0]}+(1){TAB21[0]}+(2){TAB22[0]}+(3){CAT[I|F|P|G|E|L|V]}-->(0){BIND[0,2];}$
[C3] (0){TAB0[VAL<3]}+(1){TAB21[0]}+(2){TAB22[0]}+(3){TAB4[1|2]}-->(0){BIND[0,2];}$
[C3] (-2){CAT[N] M_SEM[A]}+(-1){CHI[和|与|、]}+(0){TAB0[VAL<3]}+(1){TAB21[0]}+(2){TAB22[0]}-->(0){BIND[0,2];}$
[C3] (0){TAB0[VAL<3]}+(1){TAB21[0]}+(2){TAB22[0]}+(3){CHI[总|副|代理|代|助理|常务|名誉]}
+(4){TAB4[1|2]}-->(0){BIND[0,2];}$
[C3] (-1){CAT[V] C_OBJ[A]}+(0){TAB0[VAL<3]}+(1){TAB21[0]}+(2){TAB22[0]}+(3){CAT[V|P]}-->(0){BIND[0,2];}$
[C2] (-1){TAB4[VAL<2]}+(0){TAB0[VAL<4]}+(1){TAB1[0]}+(2){CAT[V|P|IE|L|F]}-->(0){BIND[0,1];}$
[C2] (0){TAB0[VAL<4]}+(1){TAB1[0]}+(2){TAB4[1|2]}-->(0){BIND[0,1];}$
[C2] (0){TAB0[VAL<4]}+(1){TAB1[0]} +(2){CHI[总|副|代理|代|助理|常务|名誉]}+(3){TAB4[1|2]}-->(0){BIND[0,1];}$
[C2] (-2){CAT[N] M_SEM[A]}+(-1){CHI[和|与|、]}+(0){TAB0[VAL<3]}+(1){TAB1[0]}-->(0){BIND[0,1];}$
[C2] (-1){CHI![小|老]}+(0){TAB0[0]}+(1){TAB1[0] CAT![I|L]}-->(0){BIND[0,1];}$
[C2] (-1){CHI![小|老] CAT![S|U]}+(0){TAB0[VAL<2]}+(1){TAB1[0] CAT![V|F|I|L]}+(2){CAT[V|P|I|E|L|F|A|U]}-->(0){BIND[0,1];}$
[C2] (0){CHI[小|老|大]}+(1){TAB0[VAL<3]}-->(0){BIND[0,1];}$
[C2] (-1){CAT[V] C_OBJ[A]}+(0){TAB0[VAL<4]}+(1){TAB1[0]}+(2){CAT[V|P]}-->(0){BIND[0,1];}$
[C1] (0){TAB0[VAL<2]}+(1){CHI[总]}+(2){TAB4[N] CHI![比]}-->(0){BIND[0,0];}$
[C1] (0){TAB0[VAL<2]}+(1){CHI[工]}+(2){TAB4[N]}-->(0){BIND[0,0];}$
[C1] (0){TAB0[VAL<2]}+(1){CHI[总|副]}+(2){TAB4[1|2]}-->(0){BIND[0,0];}$
[C1] (-1){CAT![N]}+(0){TAB0[VAL<4]}+(1){TAB4[1|2]}-->(0){BIND[0,0];}$
[C1] (-1){CHI[姓]}+(0){TAB0[VAL<4]}-->(0){BIND[0,0];}$
3．地名判定规则
[D3] (0){TAB5[]}+(1){TAB6[]}+(2){TAB7[]}+(3){CHI[省|市|县|区|镇|乡|村]}-->(0){BIND[0,3];}$
[D3] (-1){CAT[V|P|I]}+(0){TAB5[]}+(1){TAB6[VAL<2]}+(2){TAB7[0]}+(3){CAT[V|P|A|G|F]}-->(0){BIND[0,2];}$
[D3] (-1){CAT[V|P|I]}+(0){TAB5[] CAT![U]}+(1){TAB6[0]}+(2){TAB7[1]}+(3){CAT[V|P|A|G|F]}-->(0){BIND[0,2];}$
[D3] (-1){CAT[V|P|I]}+(0){TAB5[0]}+(1){TAB6[VAL<2] CAT![U]}+(2){TAB7[1]}+(3){CAT[V|P|A|G|F]}-->(0){BIND[0,2];}$
[D3] (-1){CAT[I] C_OBJ[H]}+(0){TAB5[VAL<2]}+(1){TAB6[VAL<2] CAT![U]}+(2){TAB7[VAL<2]}+(3){CAT[V|P|G|F]}
-->(0){BIND[0,2];}$
[D3] (-1){CAT[V] C_OBJ[H]} +(0){TAB5[VAL<2]}+(1){TAB6[VAL<2] CAT![U]}+(2){TAB7[VAL<2]}+(3){CAT[V|P]}
-->(0){BIND[0,2];}$
[D3] (-2){CAT[N] M_SEM[H]}+(-1){CHI[和|与|、]}+(0){TAB5[VAL<2]}+(1){TAB6[VAL<2] CAT![U]}+(2){TAB7[VAL<2]}
+(3){CAT[V|P|A|G|F]}-->(0){BIND[0,2];}$
[D2] (-2){CAT[N] M_SEM[H]}+(-1){CHI[和|与|、]}+(0){TAB5[VAL<2]}+(1){TAB7[0]}+(2){CAT[V|P|A|G|F]}-->(0){BIND[0,1];}$
[D2] (0){TAB5[]}+(1){TAB7[]}+(2){CHI[省|市|县|区|镇|乡|村]}-->(0){BIND[0,2];}$
[D2] (0){WORDLEN[2] CAT[N] M_SEM[H]}+(1){TAB7[0] CHI![省|市|县|区|镇|乡|村]}+(2){CAT![N]}-->(0){BIND[0,1];}$
[D2] (0){TAB5[]}+(1){TAB7[]}+(2){CHI[队]}-->(0){BIND[0,1];}$
[D2] (-1){CAT[N] M_SEM[H]}+(0){TAB5[VAL<2]}+(1){TAB7[0]}+(2){CAT[V|P|A|G|F]}-->(0){BIND[0,1];}$
[D2] (-1){CAT[I] C_OBJ[H]}+(0){TAB5[VAL<2] CAT![U]}+(1){TAB7[VAL<2]}+(3){CAT[V|P|G|F]}-->(0){BIND[0,1];}$
[D2] (-1){CAT[V] C_OBJ[H]} +(0){TAB5[VAL<2] CAT![U]}+(1){TAB7[VAL<2]}+(3){CAT[V|P]}-->(0){BIND[0,1];}$

上述判定规则中除利用本文定义的属性信息外，也充分利用上下文信息来帮助判别。这些上下文信息包括：
称谓词、并联结构、词类、动词和名词的概念类别、介词的概念类别、
动词的语义选择属性等；
未登录词识别的个性规则处理不同于共性规则的情况。以某个特定的未登录词用字为索引，可以归纳出一组处理其是否充当未登录词词素用法的判定规则。基本思想与共性规则一样，即利用上文定义的属性值信息、上下文相关信息等来判别，同时针对此特定字的非未登录词词素用法的情况重点描述。需要用个性规则处理的字如：‘常’、‘成’、‘戴’、‘单’、‘段’、‘方’、‘顾’、‘管’、‘回’、‘马’、‘应’、‘曾’等，其作姓氏使用和不作姓氏使用的情况各有特点，应该用个性规则分别描述其用法的差异。如‘段’、‘回’前是数词时一般作量词使用而不作姓氏使用，‘常’、‘应’、‘曾’等后接动词（特别是非单字动词）时一般不作姓氏使用等。由于篇幅所限，个性规则这里就不一一列举了。词典中也收录了一些不规则但很常见的未登录词，这样可以合理分摊一些个性规则的工作。

五、未登录词识别流程
汉语分词及未登录词的处理采取如下步骤：
（1） 利用最大匹配法进行第一次切（2） 分；
（3） 对于交集性歧义和组合性歧义进行歧义判定及消除处理；
（4） 进行词性标（5） 注；
（6） 利用判定规则进行外文译名（7） 识别；
先利用个性规则进行处理，然后利用共性规则进行处理；
（8） 利用判定规则进行中文人名（9） 识别；
先利用个性规则进行处理，然后利用共性规则进行处理；
（10） 利用判定规则进行地名（11） 识别；
先利用个性规则进行处理，然后利用共性规则进行处理；
（12） 输出分词最后结果；
在共性规则（或个性规则库）中，若同时有两条或多条规则的条件被满足，则采纳第一条匹配成功的规则进行处理。

六、结语
本文提出的基于属性和规则相结合的未登录词识别的方法，已经应用到汉语分析处理中，取得了较好的效果。由于未登录词识别的很好解决依赖于未登录词内词素的聚合性、句类格式约束、概念关联性、世界知识等很多知识，本文的方法还有很大的改进余地。相信随着HNC理论和技术的进一步发展及对未登录词识别问题的进一步研究，会形成更好的未登录词识别技术，取得更好的识别效果。

 

 

参考文献
[1] 黄曾阳，“HNC的发展和未来”，《HNC与语言研究》，张全，萧国政主编，武汉理工大学出版社，2001年10月
[2] 孙茂松，黄昌宁，高海燕，方捷，“中文姓名的自动识别”，《中文信息学报》，1995[2]
[3] 沈达阳，孙茂松，黄昌宁，“中国地名的自动辨别”，《计算语言学进展与应用》，清华大学出版社，1995年10月
[4] 王省，黄德根，杨元生，“基于统计和规则相结合的中文姓名识别”，《计算语言学文集》，黄昌宁，董振东主编，清华大学出版社，北京，1999
[5] 黄德根，杨元生，王省，张艳丽，“基于统计方法的中文姓名识别”，《中文信息学报》，2001[2]
[6] 何燕，“基于单字词转移概率的未登录词识别”，《自然语言理解与机器翻译》，清华大学出版社，2001