IKAnalyzer的分词效果

       为了能够对抓取的中文信息进行检，需要选择分词器对其进行分词，IKAnalyzer是一个不错的选择，小试了一下IKAnalyzer的分词效果，感觉不错，代码如下：

package org.kaiser; import java.io.IOException; import java.io.StringReader; import org.wltea.analyzer.IKSegmentation; import org.wltea.analyzer.Lexeme; public class Segment { public static void main(String[] args) { IKSegmentation seg=null; String text = "苏轼不是圣人，他最可贵的地方是在痛苦彷徨挣扎中，" + "总能把自己的心灵置于更广阔的天地中，如同《赤壁后赋》中横飞而去的老鹤，" + "戛戛于星空夜月，长河大江之上，澄明清澈，皎然不滓。" + "苏轼是一个善于苦中找乐的人，这种乐观与真趣帮他度过了不少难关。" + "画家陈丹青说鲁迅是一个有趣的人，我想，拿来说苏东坡一样也行。"; StringReader reader=new StringReader(text); seg=new IKSegmentation(reader); Lexeme lex=new Lexeme(0, 0, 0, 0); try { while((lex=seg.next())!=null) { System.out.print(lex.getLexemeText() + "|"); } } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } }  

分词之后的结果如下：

苏轼|不是|圣人|他|最可|可贵|的|地方|是|在|痛苦|彷徨|挣扎|中|总能|能把|自己|的|心灵|置于|更广|广阔|的|天地|地中|如同|赤壁|后|赋|中|横飞|而去|的|老|鹤|戛戛|于|星空|夜|月|长河|大江|之上|澄明|明清|清澈|皎|然|不|滓|苏轼|是|一个|一|个|善于|于|苦|中|找乐|的人|这种|乐观|与|真|趣|帮|他|度过|过了|不少|难关|画家|陈|丹青|说|鲁迅|是|一个|一|个|有趣|的人|我|想|拿来|来说|苏东坡|东坡|一样|一|样|也行|

 

接下来准备了解一下统计一个文本中关键词出现次数的方法，然后简单的利用出现次数对一些文本进行排序。