SharpICTCLAS分词系统简介(7)OptimumSegment

原文地址：http://www.cnblogs.com/zhenyulu/articles/675217.html

上一篇文章说到经过NShortPath计算后，我们得到了数个候选分词方案，那么这么多个候选分词方案是如何最终成为一个分词结果的呢？其实这个过程是靠OptimumSegment完成的。SharpICTCLAS与ICTCLAS的OptimumSegment过程基本一样没有太大的变化。

1、OptimumSegment的运算过程

经过NShortPath处理后的多个结果首先会经过日期合并策略的处理，这就是前文说的GenerateWord方法完成的功能。在GenerateWord方法中可以看到如下命令：

 m_graphOptimum.SetElement(pCur.row, pCur.col, ......);

它的功能就是将所有得到的多个分词方案合并归入一个 m_graphOptimum 属性，如下面的NShortPath运算结果，经过归并后，在 m_graphOptimum 属性中将包含所有红色词。

  Copy Code

经过NShortPath处理后的初步分词结果

//==== 原始句子： 

王晓平在1月份滦南大会上说的确实在理 

//==== NShortPath 初步切分的到的 N 个结果： 

始##始, 王, 晓, 平, 在, 1, 月份, 滦, 南, 大, 会上, 说, 的, 确实, 在, 理, 末##末,  
始##始, 王, 晓, 平, 在, 1, 月份, 滦, 南, 大会, 上, 说, 的, 确实, 在, 理, 末##末,  
始##始, 王, 晓, 平, 在, 1, 月份, 滦, 南, 大, 会上, 说, 的, 确实, 在理, 末##末,  
始##始, 王, 晓, 平, 在, 1, 月份, 滦, 南, 大会, 上, 说, 的, 确实, 在理, 末##末,  
始##始, 王, 晓, 平, 在, 1, 月, 份, 滦, 南, 大, 会上, 说, 的, 确实, 在, 理, 末##末,  


//==== 经过数字、日期合并等策略处理后的 N 个结果： 

始##始, 王, 晓, 平, 在, 1月份, 滦, 南, 大, 会上, 说, 的, 确实, 在, 理, 末##末,  
始##始, 王, 晓, 平, 在, 1月份, 滦, 南,  大会, 上, 说, 的, 确实, 在, 理, 末##末,  
始##始, 王, 晓, 平, 在, 1月份, 滦, 南, 大, 会上, 说, 的, 确实,  在理, 末##末,  
始##始, 王, 晓, 平, 在, 1月份, 滦, 南, 大会, 上, 说, 的, 确实, 在理, 末##末,  
始##始, 王, 晓, 平, 在,  1月,  份, 滦, 南, 大, 会上, 说, 的, 确实, 在, 理, 末##末,  

紧接着对归并后的 m_graphOptimum 进行人名与地名的识别，找出所有可能的人名、地名方案，经过人名、地名识别后的 m_graphOptimum 如下：

  Copy Code

加入人名、地名识别

//==== 加入对姓名、翻译人名以及地名的识别： 

row:  0,  col:  1,  eWeight: 329805.00,   nPOS:      1,   sWord:始##始 
row:  1,  col:  2,  eWeight:    218.00,   nPOS:      0,   sWord:王 
row:  1,  col:  4,  eWeight:     10.86,   nPOS: -28274,   sWord:未##人 
row:  2,  col:  3,  eWeight:      9.00,   nPOS:      0,   sWord:晓 
row:  2,  col:  4,  eWeight:     13.27,   nPOS: -28274,   sWord:未##人 
row:  3,  col:  4,  eWeight:    271.00,   nPOS:      0,   sWord:平 
row:  4,  col:  5,  eWeight:  78484.00,   nPOS:      0,   sWord:在 
row:  5,  col:  7,  eWeight:      0.00,   nPOS: -29696,   sWord:未##时 
row:  5,  col:  8,  eWeight:      0.00,   nPOS: -29696,   sWord:未##时 
row:  7,  col:  8,  eWeight:   1234.00,   nPOS:      0,   sWord:份 
row:  8,  col:  9,  eWeight:      1.00,   nPOS:  27136,   sWord:滦 
row:  8,  col: 10,  eWeight:     20.37,   nPOS: -28275,   sWord:未##地 
row:  9,  col: 10,  eWeight:    813.00,   nPOS:      0,   sWord:南 
row: 10,  col: 11,  eWeight:  14536.00,   nPOS:      0,   sWord:大 
row: 10,  col: 12,  eWeight:   1333.00,   nPOS:  28160,   sWord:大会 
row: 11,  col: 13,  eWeight:    469.00,   nPOS:      0,   sWord:会上 
row: 12,  col: 13,  eWeight:  23706.00,   nPOS: -27904,   sWord:未##数 
row: 13,  col: 14,  eWeight:  17649.00,   nPOS:      0,   sWord:说 
row: 14,  col: 15,  eWeight: 358156.00,   nPOS:      0,   sWord:的 
row: 15,  col: 17,  eWeight:    361.00,   nPOS:      0,   sWord:确实 
row: 17,  col: 18,  eWeight:  78484.00,   nPOS:      0,   sWord:在 
row: 17,  col: 19,  eWeight:      3.00,   nPOS:  24832,   sWord:在理 
row: 18,  col: 19,  eWeight:    129.00,   nPOS:      0,   sWord:理 
row: 19,  col: 20,  eWeight:2079997.00,   nPOS:      4,   sWord:末##末 

到此为止， m_graphOptimum 包含了所有最终分词结果中可能包含的元素（人名、地名以及NShortPath筛选后所有可能组词方案），Segment类对这个 m_graphOptimum 再次使用NShortPath，并计算出最优结果作为最终的分词方案。

整个过程可从WordSegment类的Segment方法看出，SharpICTCLAS中该方法定义如下（经过简化）：

  Copy Code

分词主程序

public List<WordResult[]> Segment( string sentence,  int nKind) 
{ 
   m_pNewSentence = Predefine.SENTENCE_BEGIN + sentence + Predefine.SENTENCE_END; 
    //---初步分词 
    int nResultCount = m_Seg.BiSegment(m_pNewSentence, m_dSmoothingPara, nKind); 

    //---人名、地名识别 
    for ( int i = 0; i < nResultCount; i++) 
   { 
      m_uPerson.Recognition(m_Seg.m_pWordSeg[i], m_Seg.m_graphOptimum, ......); 
      m_uTransPerson.Recognition(m_Seg.m_pWordSeg[i], m_Seg.m_graphOptimum, ......); 
      m_uPlace.Recognition(m_Seg.m_pWordSeg[i], m_Seg.m_graphOptimum, ......); 
   } 

    //---最终优化 
   m_Seg.BiOptimumSegment(1, m_dSmoothingPara); 

    //---词性标注 
    for ( int i = 0; i < m_Seg.m_pWordSeg.Count; i++) 
      m_POSTagger.POSTagging(m_Seg.m_pWordSeg[i], m_dictCore, m_dictCore); 

    return m_Seg.m_pWordSeg; 
}

2、人名与地名的识别

ICTCLAS中人名的识别采用的是模板匹配的方法，首先对初步分词得到的多的结果计算词性，然后根据词性串对人名信息进行匹配。整个运算过程如下：

首先定义了人名匹配模板：

  Copy Code

人名识别模板

string[] sPatterns = {  "BBCD",  "BBC",  "BBE",  "BBZ",  "BCD", 
"BEE",  "BE",  "BG",  "BXD",  "BZ",  "CDCD",  "CD",  "EE",  "FB",  
"Y",  "XD",  "" }; 
/*------------------------------------ 
The person recognition patterns set 
BBCD:姓+姓+名1+名2; 
BBE: 姓+姓+单名; 
BBZ: 姓+姓+双名成词; 
BCD: 姓+名1+名2; 
BE:  姓+单名; 
BEE: 姓+单名+单名;韩磊磊 
BG:  姓+后缀 
BXD: 姓+姓双名首字成词+双名末字 
BZ:  姓+双名成词; 
B:   姓 
CD:  名1+名2; 
EE:  单名+单名; 
FB:  前缀+姓 
XD:  姓双名首字成词+双名末字 
Y:   姓单名成词 
------------------------------------*/

然后将初步分词得到的结果进行词性标注，清理掉其它不必要的信息后进行模板匹配得到人名：

  Copy Code

人名识别过程

//==== 经过初步分词后的一个结果集 

始##始, 王, 晓, 平, 在, 1月份, 滦, 南, 大, 会上, 说, 的, 确实, 在, 理, 末##末,  

//==== 经过计算得到的m_nBestTag 

始##始, 王, 晓, 平, 在, 1月份, 滦, 南, 大, 会上, 说, 的, 确实, 在, 理, 末##末,  
         B   C   D   M   A      A   A   A   A     A   A   A     A   A 

//==== 经过模板匹配后识别出来的人名 

王晓平

地名的识别与此类似，就不再多说。有关人名、地名识别的进一步内容可以参考：http://qxred.yculblog.com/post.1204714.html；《ICTCLAS 中科院分词系统 代码 注释 中文分词 词性标注》作者：风暴红QxRed 。

　

• 小结

经过NShortPath得到的多个初步分词结果被归并入 m_graphOptimum ，然后经过人名与地名识别过程将所有可能的人名、地名也放入其中，最后通过OptimumSegment方法最终得到分词结果。