IK分词源码分析连载(一)--主流程

转载请注明出处：

http://blog.chinaunix.net/uid-20761674-id-3423941.html

 

IK分词全名IK Analyzer，是基于Java语言开发的轻量级的中文分词工具包。像lucence等开源搜索引擎都可以使用IK进行分词处理。使用Java的同学有很多人都使用过IK

但是IK从2006年发布以来，还没人发布过源码分析介绍(也有可能是本人google技术不过关)，这个连载系列会把自己对IK源码的分析写出来和大家分享

源码来自IK分词的2012版本，请google 'ik分词 google code' 查找源码

下面直接进入正题：

暂时跳过了IK分词的初始化过程，先简单的说明下：

初始化最主要的工作就是读入1.main2012.dic(关键词)2.quantifier.dic(量词)3.stopword.dic(停用词)4.ext.dic(扩展词,可选),将这些词放入内存字典树。

先走匹配的核心流程，从一段最简单的IK示例开始。

	while ((lexeme = ik.next()) != null) {
		wordName = lexeme.getLexemeText();
                 pos = lexeme.getBeginPosition();
                 System.out.println("wordName: " + wordName + " pos: " + pos);
            }

最主要的就是ik.next()方法

/**
     * 分词，获取下一个词元
     * @return Lexeme 词元对象
     * @throws IOException
     */
    public synchronized Lexeme next()throws IOException{
        if(this.context.hasNextResult()){
            //存在尚未输出的分词结果
            return this.context.getNextLexeme();
        }else{
            /*
             * 从reader中读取数据，填充buffer
             * 如果reader是分次读入buffer的，那么buffer要进行移位处理
             * 移位处理上次读入的但未处理的数据
             */
            int available = context.fillBuffer(this.input);
            if(available <= 0){
                //reader已经读完
                context.reset();
                return null;
                
            }else{
                //初始化指针
                context.initCursor();
                do{
                    //遍历子分词器
                    for(ISegmenter segmenter : segmenters){
                        segmenter.analyze(context);
                    }
                    //字符缓冲区接近读完，需要读入新的字符
                    if(context.needRefillBuffer()){
                        break;
                    }
                   //向前移动指针
                }while(context.moveCursor());
                //重置子分词器，为下轮循环进行初始化
                for(ISegmenter segmenter : segmenters){
                    segmenter.reset();
                }
            }
            //对分词进行歧义处理
            this.arbitrator.process(context, this.cfg.useSmart());            
            //处理未切分CJK字符
            context.processUnkownCJKChar();
            //记录本次分词的缓冲区位移
            context.markBufferOffset();
            //输出词元
            if(this.context.hasNextResult()){
                return this.context.getNextLexeme();
            }
            return null;
        }

其中几个主要的方法说明如下：

• 读入待匹配的文本

int available = context.fillBuffer(this.input);

• 初始化文本指针，指向文本中的第一个字符

context.initCursor();

• • 遍历分词器，进行分词处理，这里是最核心的流程之一，将待匹配文本生成分词候选集。
• 总共有三种分词器CJKSegmenter(中文分词器)、CN_QuantifierSegment(数量词分词器)、LetterSegment(字母数字分词器)，每种分词器的分词方法是独立的，各自生成自己的分词结果，放到分词候选集里

for(ISegmenter segmenter : segmenters){
                        segmenter.analyze(context);
                    }

• 处理完一个字符之后，文本指针后移一位，直到处理完所有待匹配文本

while(context.moveCursor());

• 生成分词候选集之后，进行歧义处理，歧义处理方法区分智能和非智能，也就是在初始化IKSegment时传递的第二个参数IKSegmenter(Reader input, boolean useSmart)。
• 其功能是根据分词候选集和歧义处理策略，生成最后的分词结果，具体策略后面介绍

//对分词进行歧义处理
            this.arbitrator.process(context, this.cfg.useSmart());

• 处理未切分CJK字符

//处理未切分CJK字符
            context.processUnkownCJKChar();

• 记录本次分词的缓冲区位置

//记录本次分词的缓冲区位移
           context.markBufferOffset();

 

主要流程介绍完了，并不复杂，其实IK分词算是比较简单的分词方法了，没有复杂的智能算法在里面

• 下一篇介绍三种子分词器的作用IK分词源码分析连载(二)--子分词器