OpenNLP是Apach下的Java自然语言处理API,功能齐全,但是网上似乎能找到的用于处理中文的资料很少。
正好前段时间面试遇到一个做命名实体识别的任务考题,这里来给大家介绍一下使用OpenNLP进行中文语料命名实体识别的过程。
首先是预处理工作,分词去听用词等等的就不啰嗦了,其实将分词的结果中间加上空格隔开就可以了,OpenNLP可以将这样形式的的语料照处理英文的方式处理,有些关于字符处理的注意点在后面会提到。
首先我们要准备各个命名实体类别所对应的词库,词库被存在文本文档中,文档名即是命名实体类别的TypeName,下面两个function分别是载入某类命名实体词库中的词和载入命名实体的类别。
/**
* 载入词库中的命名实体
*
* @param nameListFile
* @return
* @throws Exception
*/
public static List<String> loadNameWords(File nameListFile)
throws Exception {
List<String> nameWords = new ArrayList<String>();
if (!nameListFile.exists() || nameListFile.isDirectory()) {
System.err.println("不存在那个文件");
return null;
}
BufferedReader br = new BufferedReader(new FileReader(nameListFile));
String line = null;
while ((line = br.readLine()) != null) {
nameWords.add(line);
}
br.close();
return nameWords;
}
/**
* 获取命名实体类型
*
* @param nameListFile
* @return
*/
public static String getNameType(File nameListFile) {
String nameType = nameListFile.getName();
return nameType.substring(0, nameType.lastIndexOf(