再说到原子分词前,我们先来说下什么是原子。我举个例子就一目了然了:始##始他说的确实在理末##末-->始##始 他 说 的 确 实 在 理 末##末,其中始##始是开始的标志。ICTCLAS分词大约分为:
1)初步分词;
2)词性标注;
3)人名、地名识别;
4)重新分词;
5)重新词性标注这五步。
就第一步分词而言,又细分成:1)原子切分;2)找出原子之间所有可能的组词方案;3)N-最短路径中文词语粗分三步。
现在来学习下原子切分:
1):就“三星SHX-123型号的手机”而言,原子切分第一步我们就叫它原子分隔处理,处理后的结果:三 星 S H X - 1 2 3 型 号 的 手 机
代码参考如下:
/**
* 对字符串进行原子分隔,比如:解放军第101医院----解 放 军 第 1 0 1 医 院
*
* @param str
* @return
*/
public static String[] atomSplit(String str) {
String[] result = null;
if (str != null) {
result = new String[str.length()];
String temp = str + " ";
for (int i = 0; i < temp.length() - 1; i++) {
result[i] = temp.substring(i, i + 1);
}
}
return result;
}
2):对第一步原子分隔的结果进行进一步处理经过这一步第一步中“三 星 S H X - 1 2 3 型 号 的 手 机 ”就变成了三 星 SHX-123 型 号 的 手 机
处理过程大致是对result 数组进行遍历,遍历中会分为以下几种情况:
*如果是汉子,分隔符等则作为一个单独原子
*如果是数字、字母、单字节符号则把相邻的作为一个原子如:SHX-123
*其中还有一种特殊的情况如“。”
核心代码:
for (int i = index; i < ss.length; i++) {
if (Utility.SENTENCE_END.equals(str.substring(i))) {
Atom atom = new Atom();
atom.setWord(Utility.SENTENCE_END);
atom.setLen(Utility.SENTENCE_END.length());
atom.setPos(Utility.CT_SENTENCE_END);
result.add(atom);
break;
}
String s = ss[i];
sAtom += s;
int curType = Utility.charType(s);
if (".".equals(s)
&& (i + 1 < ss.length && (Utility.charType(ss[i + 1]) == Utility.CT_NUM || GFString
.isNumeric(ss[i+1]))))
curType = Utility.CT_NUM;
// 如果是汉字、分隔符等
if (curType == Utility.CT_CHINESE || curType == Utility.CT_INDEX || curType == Utility.CT_DELIMITER
|| curType == Utility.CT_OTHER) {
Atom atom = new Atom();
atom.setWord(s);
atom.setLen(s.length());
atom.setPos(curType);
result.add(atom);
sAtom = "";
}
// 如果是数字、字母、单字节符号,则把相邻的这些做为一个原子。比如:三星SHX-123型号的手机,则其中的SHX-123就是一个原子
else {
int nextType = 255;// 下一个字符的类型
if (i < ss.length - 1)
nextType = Utility.charType(ss[i + 1]);
if (nextType != curType || i == ss.length - 1) {
Atom atom = new Atom();
atom.setWord(sAtom);
atom.setLen(sAtom.length());
atom.setPos(curType);
result.add(atom);
sAtom = "";
}
}
}
如果想下载代码的话http://ishare.iask.sina.com.cn/download/explain.php?fileid=12821600
如果想进一步学习的话也可以看看http://www.cnblogs.com/zhenyulu/articles/668035.html