IKAnalyzer 分词工具的使用与问题

IKAnalyzer 用来对一段文集进行分词

IKAnalyzer.cfg.xml 文件必须放在classpath的根目录下，可以在源码中修改这个配置文件的位置，但是没有必要去修改。

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">  
<properties>  
	<comment>IK Analyzer 扩展配置</comment>
	 <entry key="ext_dict">/ikdic/ext_keyword.dic;</entry>//在classpath根目录下的ikdic包下的ext_keyword.dic,为扩展字典
	 <entry key="ext_stopwords">/ikdic/ext_stopword.dic</entry> //在classpath根目录下的ikdic包下的ext_stopword.dic,为停止字典
</properties>

至于调用是很简单的：

package org.bdp.util;

import java.io.ByteArrayInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.Reader;
import java.util.ArrayList;
import java.util.List;

import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;

public class CZIKAnaUtil {
	public static void main(String[] args) {

		String str = "文嘉(1501-1583)";

		IKAnalysis(str);
	}

	public static List<String> IKAnalysis(String str) {
		List<String> keywordList = new ArrayList<String>();
		try {
			byte[] bt = str.getBytes();
			InputStream ip = new ByteArrayInputStream(bt);
			Reader read = new InputStreamReader(ip);
			IKSegmenter iks = new IKSegmenter(read,true);//true开启只能分词模式，如果不设置默认为false，也就是细粒度分割
			Lexeme t;
			while ((t = iks.next()) != null) {
				keywordList.add(t.getLexemeText());
			}
		} catch (IOException e) {
			e.printStackTrace();
		} 
       /* for (int i = 0; i < keyWordList.size() - 1; i++) {
            for (int j = keyWordList.size() - 1; j > i; j--) {
                if (keyWordList.get(j).equals(keyWordList.get(i))) {
                    keyWordList.remove(j);
                }
            }
        }
        Collections.sort(keyWordList, new Comparator<String>() {
            @Override
            public int compare(String o1, String o2) {
                return o2.length() - o1.length();
            }
        })*/
		System.out.println(keywordList);
		return keywordList;
	}
}

这里需要注意的是，在使用中发现类似这样的拓展字典是无法识别的

文嘉(1501-1583)

你和我，和你

这类的有标点，或者特殊字符的字典项是不能识别的。

而且如果你下载的不是ik最新版本可能还会出现英文数字汉字在一起的时候无法识别问题，如：天台年123123abc，分成“天”，“台”，“年”，“123123”，“abc”，而不能分成分成“天”，“台”，“年”，“123123”，“abc”，“天台年123123abc”：。

main方法执行和发布到服务器执行效果不同，这里没找到原因，不过建议大家在服务器中看分割的结果。