之前有在Lucene项目中使用过IK分词器的Lucene相关API,没有出现什么问题,今天使用了另一个API,出现了空指针问题,记录一下。
IKSegmenter segmenter = new IKSegmenter(reader, true);
while(segmenter.next()!= null){
String w = segmenter.next().getLexemeText();
System.out.println(w);
context.write(new Text(id + "-" + w), new IntWritable(1));
}
如上代码,这是我出现空指针的代码。修改后的代码如下:
IKSegmenter segmenter = new IKSegmenter(reader, true);
Lexeme word;
while((word = segmenter.next()) != null){
String w = word.getLexemeText();
System.out.println(w);
context.write(new Text(id + "-" + w), new IntWritable(1));
}
对比,明显可以发现,问题所在:即,在判断segmener是否有下一个词时,必须是有下一个Lexeme对象,因为在IK分词器内部,将最终分出的每一个词都封装为了一个Lexeme对象,所以,可能后面还有一个或者多个字或者符号什么的,但是并没有封装为Lexeme对象。