全文检索4(关于中文分词ICTCLAS分词系统)

转载 2007年09月24日 11:57:00
 
ICTCLAS分词系统是由中科院计算所的张华平、刘群所开发的一套获得广泛好评的分词系统,该版的Free版开放了源代码,为初学者提供了宝贵的学习材料。我们可以在http://sewm.pku.edu.cn/QA/找到FreeICTCLASLinux.tarC++代码。
可是目前该版本的ICTCLAS并没有提供完善的文档,所以阅读起来有一定的难度,所幸网上可以找到一些对ICTCLAS进行代码分析的文章,对理解分词系统的内部运行机制提供了很大的帮助。这些文章包括:
1http://blog.csdn.net/group/ictclas4j/;《ICTCLAS分词系统研究(一)~(六)》作者:sinboy
2http://qxred.yculblog.com/post.1204714.html;《ICTCLAS 中科院分词系统代码注释中文分词词性标注》作者:风暴红QxRed
按照上面这些文章的思路去读ICTCLAS的代码,可以比较容易的理顺思路。然而在我阅读代码的过程中,越来越对ICTCLAS天书般的代码感到厌烦。我不得不佩服中科院计算所的人思维缜密,头脑清晰,能写出滴水不漏而又让那些头脑简单的人百思不得其解的代码。将一件本来很简单的事情做得无比复杂...
ICTCLAS中有一个名为CDynamicArray的类,存放在DynamicArray.cppDynamicArray.h两个文件中,这个DynamicArray是干什么用的?经过一番研究后终于明白是一个经过排序的链表。为了表达的更明白些,我们不妨看下面这张图:
(图一)
上面这张图是一个按照index值进行了排序的链表,当插入新结点时必须确保index值的有序性。DynamicArray类完成的功能基本上与上面这个链表差不多,只是排序规则不是index,而是rowcol两个数据,如下图:
(图二)
大家可以看到,这个有序链表的排序规则是先按row排序,row相同的按照col排序。当然排序规则是可以改变的,如果先按col排,再按row排,则上面的链表必须表述成:
(图三)
在了解了这些内容的基础上,不妨让我们看看ICTCLASDynamicArray.cpp中的代码实现(这里我们只看GetElement方法的实现,其基本功能为给出rowcol,然后将对应的元素取出来)。
Copy Code
DynamicArray.cpp
ELEMENT_TYPE CDynamicArray::GetElement(int nRow, int nCol, PARRAY_CHAIN pStart,
  PARRAY_CHAIN *pRet)
{
  PARRAY_CHAIN pCur = pStart;
 
if (pStart == 0)
    pCur = m_pHead;
 
if (pRet != 0)
    *pRet = NULL;
 
if (nRow > (int)m_nRow || nCol > (int)m_nCol)
 
//Judge if the row and col is overflow
   
return INFINITE_VALUE;
 
if (m_bRowFirst)
  {
   
while (pCur != NULL && (nRow !=  - 1 && (int)pCur->row < nRow || (nCol !=  
      - 1 && (int)pCur->row == nRow && (int)pCur->col < nCol)))
    {
     
if (pRet != 0)
        *pRet = pCur;
      pCur = pCur->next;
    }
  }
 
else
  {
   
while (pCur != NULL && (nCol !=  - 1 && (int)pCur->col < nCol || ((int)pCur
      ->col == nCol && nRow !=  - 1 && (int)pCur->row < nRow)))
    {
     
if (pRet != 0)
        *pRet = pCur;
      pCur = pCur->next;
    }
  }
 
if (pCur != NULL && ((int)pCur->row == nRow || nRow ==  - 1) && ((int)pCur
    ->col == nCol || nCol ==  - 1))
 
//Find the same position
  {
   
//Find it and return the value
   
if (pRet != 0)
      *pRet = pCur;
   
return pCur->value;
  }
 
return INFINITE_VALUE;
}
这里我先要说明的是程序中的m_bRowFirst变量,它表示是先按row大小排列还是先按col大小排列。如果m_bRowFirst为逻辑真值,那么链表就如上面图二所示,如果为假,则如图三所示。
除了这个外,看到上面长长的条件表达式,你一定会吓坏了吧!更让人吓坏的是调用这段程序的代码:
Copy Code
GetElement方法的调用

//
来自NShortPath.cppShortPath方法
eWeight = m_apCost->GetElement( -1, nCurNode, 0, &pEdgeList);
 
//来自Segment.cppBiGraphGenerate方法
aWord.GetElement(pCur->col, -1, pCur, &pNextWords);
//Get next words which begin with pCur->col
 
·         先分析第一个调用
第一个调用给GetElement方法的nRow传递了-1,他想干什么呢?
假设这时候变量m_bRowFirsttrue,并且传递过去的nCol!=-1,那么while (pCur != NULL && (nRow !=  - 1 && (int)pCur->row < nRow || (nCol != -1 && (int)pCur->row == nRow && (int)pCur->col < nCol))) 等价于while (pCur != NULL && ( (int)pCur->row == -1 && (int)pCur->col < nCol))),注意红色部分在程序运行时永远为false(因为根本就不存在row-1的结点),因此,上面的表达式等价于while(false)这对于该段程序没有任何意义!
因此我们可以得到这样一个结论:如果GetElement方法的nRow参数取-1,当且仅当m_bRowFirstfalse时才有意义。这时候,代码中第二个while得到执行,让我们分析一下:
while (pCur != NULL && (nCol !=  - 1 && (int)pCur->col < nCol || ((int)pCur->col == nCol && nRow !=  - 1 && (int)pCur->row < nRow))) nRow-1时等价于while (pCur != NULL && ((int)pCur->col < nCol ) ,这就容易解释的多了:在如图三所示的链表中查找col=nCol 的第一个结点。
My God!
·         再分析第二个调用
上面的第二个调用就更让人摸不着头脑了:将pCur->col传递给GetElementnRow参数,并将-1传递给nCol参数,这想干什么呢?要想分析清楚这个问题,没有个把钟头恐怕不行(再次佩服这些中科院的牛人们)。
按照分析第一个调用中的结论可知,如果GetElement方法的nCol参数取-1,当且仅当m_bRowFirsttrue时才有意义。因此链表排序一定是先按照行排(如图二),此时对DynamicArrayGetElement方法的调用可以简化成:
Copy Code
对方法调用进行剥离和简化
//来自Segment.cppBiGraphGenerate方法 
aWord.GetElement(pCur->col, -1, pCur, &pNextWords);

//======================================================================

ELEMENT_TYPE CDynamicArray::GetElement(
int nRow, int nCol, PARRAY_CHAIN pStart, PARRAY_CHAIN *pRet) 
// 经过调用后,上面的形参对应的值分别是:nRowpStart->col, nCol-1, pStart, &pNextWords
// 注意,为了和下面代码中的pCur以示区分,这里用了pStart这个变量名。

  ......

 
while (pCur != NULL && ((int)pCur->row < pStart->col)) 
  { 
   
if (pRet != 0) 
      *pRet = pCur; 
    pCur = pCur->next; 
  } 

 
if (pCur != NULL && ((int)pCur->row == pStart->col
 
//Find the same position 
  { 
   
//Find it and return the value 
   
if (pRet != 0) 
      *pRet = pCur; 
   
return pCur->value
  } 
 
return INFINITE_VALUE; 
}
 
此时的意义就比较明显了,其实就是找pCur->row == pStart->col的那个结点。
可有人会问,干吗把rowcol扯到一起呢?这又是一个非常复杂的问题。具体内容可以参考sinboy的《ICTCLAS分词系统研究(四)--初次切分》一文。这里简单解释如下:
如图四,这是row优先排列的一个链表:
图四进行初步分词后的链表结构(TagArrayChain)实例
用二维表来表示图四中的链表结构如下图五所示:
图五 TagArrayChain实例的二维表表示形式
然后找出相邻两个词的平滑值。例如@@@确实的确@的确@实在等。如果仔细观察的话,可以注意到以下特点:例如的确这个词,它的col = 5,需要和它计算平滑值的有两个,分别是实在,你会发现这两个词的row = 5。同样道理,col = 5,它也需要和实在row = 5)分别计算平滑值。
其实,这就是为什么上面分析的找pCur->row == pStart->col的那个结点的原因了。最终得到的平滑值图可以表述成图六:
图六进行初次分词后生成的二叉图表的二维图表表示形式
到此为止才明白代码作者的真正用意:
Copy Code
将该调用放到上下文中再次查看
//========= 来自Segment.cppBiGraphGenerate方法 ===========
......
 
//取得和当前结点列值(col)相同的下个结点
aWord.GetElement(pCur->col, -1, pCur, &pNextWords);
while(pNextWords&&pNextWords->row==pCur->col)//Next words

 
//前后两个词用@分隔符连接起来
  strcpy(sTwoWords,pCur->sWord);
  strcat(sTwoWords,WORD_SEGMENTER);
  strcat(sTwoWords,pNextWords->sWord);
  ......
}
·         小结
想不到短短一个GetElement方法中竟然综合考虑了1row优先排序的链表;2col优先排序的链表;3)当nRow-1时的行为(只有m_bRowFirstfalse时才能这么做,代码中没有指,所以非常容易出错!);4)当nCol-1时的行为;5)当nRownCol都不为-1时的行为。
这也难怪我们会看到诸如while (pCur != NULL && (nRow !=  - 1 && (int)pCur->row < nRow || (nCol != -1 && (int)pCur->row == nRow && (int)pCur->col < nCol))) 这样的逻辑表达式了!我们也不得不佩服代码书写者复杂的逻辑思维能力(离散数学的谓词逻辑一定学得超级好)和给代码阅读者制造障碍的能力!类似代码在ICTCLAS中比比皆是,看来我只能恨自己脑筋太简单了!
 
 

全文检索引擎Solr系列——整合中文分词组件mmseg4j

http://www.importnew.com/12860.html 全文检索引擎Solr系列——整合中文分词组件mmseg4j 2014/08/28...
  • xiangbq
  • xiangbq
  • 2015年05月26日 16:22
  • 687

Python环境下NIPIR(ICTCLAS2014)中文分词系统使用攻略

PyNLPIR
  • noter16
  • noter16
  • 2016年09月18日 14:50
  • 737

中科院中文分词系统ICTCLAS之CSegment的GenerateWord()详细分析

原文地址:http://blog.csdn.net/dancefire/article/details/1606602 一、简介 这次分析的是ICTCLAS中的 //Generate...

ICTCLAS 中科院分词系统 代码 注释 中文分词 词性标注

原文地址:http://qxred.ycool.com/post.1204714.html 中科院分词系统概述 这几天看完了中科院分词程序的代码,现在来做一个概述,并对一些关键的数据结构作出解...

NLPIR(ICTCLAS2013)中文分词系统应用在Web项目中

由于项目中要应用分词,因此前几天的时候了解了一下中文分词系统NLPIR(又叫ICTCLAS2013)的应用,并写了一篇学习笔记: http://blog.csdn.net/zhangyihui1986...

让中科院中文分词系统ICTCLAS为lucene所用的简单程序(C#版)

利用了吕震宇根据Free版ICTCLAS改编而成.net平台下的ICTCLAS,把ICTCLAS的分词为lucene所用。以下是我写的程序,比较简单。大家看看评评,有什么要改进的地方,望大家指出 A...

中科院中文分词系统ICTCLAS之人名识别词典分析

请在阅读本文前,先确认已阅读过论文《张华平,刘群.基于角色标注的中国人名自动识别研究》。 论文把与人名相关的词分为了15个角色,通过词典查询,可以判断某些文字、词所属角色,然后根据模式匹配找...

ICTCLAS 中科院分词系统 代码 注释 中文分词 词性标注(2009-06-18 更新 可下载)

转载自:http://hi.baidu.com/huabk/item/9b0f4d5f0d970609e6c4a5cb ICTCLAS 中科院分词系统 代码 注释 中文分词 词性标注 风暴...
  • memray
  • memray
  • 2013年11月03日 16:25
  • 2887

ICTCLAS2009版中文分词系统

  • 2009年02月23日 14:41
  • 9.68MB
  • 下载

ICTCLAS中文分词系统C++代码

  • 2011年01月05日 19:59
  • 9.8MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:全文检索4(关于中文分词ICTCLAS分词系统)
举报原因:
原因补充:

(最多只允许输入30个字)