HashMap简单实现的分词器
public class TokenizerDemo {
private static Map<String, String> map = new HashMap<String, String>();
//词典中最长词的长度,map中的key的最长长度
private static final int maxSize = 3;
static{
//可以从数据库中加载或词表中加载
map.put("中国", "");
map.put("北京", "");
map.put("中关村", "");
map.put("海淀", "");
}
public static void main(String[] args) {
String text = "中国人民共和国首都是北京,中关村在海淀区。";
int length = text.length();
for(int i=0; i<length; i++){
int endIdx = i+maxSize;
if(endIdx>length){
endIdx = length;
}
//最大逆序匹配
for(int j=0; j<maxSize; j++){
String s = text.substring(i, endIdx);
if(map.get(s)!=null){
//跳过匹配过的词(后面会说明跳过匹配词的原因)
i=endIdx-1;
System.out.println(s);
break;
}else{
endIdx-=1;
if(endIdx==i){
break;
}
}
}
}
}
}
输出结果:
中国
北京
中关村
海淀
注意:
如果不跳过已经匹配的词会出现"北京剧院" 拆分成 [北京]、[京剧]、[剧院] 三个词,
如果跳过匹配过的词就会拆分成 [北京]、[剧院]。
分词原理:
从词典中找出最长词的长度,这里为maxSize=3,按照maxSize的长度从文本的第一位(i=0)截取要抽取的文本【中国人】,然后去Map中查找是否有对应的值,如果没有减去一个长度截取(maxSize-1)【中国】,去Map中查找,找到则停止当前查找,接着从匹配当前词后面的字(i=2)【人民共】开始继续上述的步骤开始查找。
代码执行的流程如下:
第一次循环(i=0):
中国人 -> 无命中(map中没找到) (j=0)
中国 -> map命中 (j=1) 【注释:命中后i+2(当前词)的长度。所以i=2】
第二次循环(i=2):
人民共 -> 无命中 (j=0)
人民 -> 无命中 (j=1)
人 -> 无命中 (j=2)
第三次循环(i=3):
民共和 -> 无命中 (j=0)
民共 -> 无命中 (j=1)
民 -> 无命中 (j=2)
...依次类推,找出文本中所有匹配词典中的词
很简单的代码就说明了分词器的原理(只是最简单、能命中词而以)。
应用场景
敏感词、文字过滤是一个网站必不可少的功能,可以使用这么简单的几行代码实现网站的敏感词过滤功能,自己这么简单几行代码就能实现是不是很棒。
作者:jijs
链接:https://www.jianshu.com/p/62f4a5596278
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。