1:中文分词简介
2:Lucence的中文分词
3:庖丁分词简介
4:IK中文分词简介
一:中文分词简介
1:分词算法分类
-----基于字符串匹配的中文分词方法
eg:句子:我来自沈阳航空航天大学
词典:沈阳 航空 航天 大学 沈阳航空航天大学
匹配字段:
匹配结果:
选取词典中最长字段作为分词起始的最长步伐,可知最长为8
首先在句子中以“我”为起点,数八个字“我来自沈阳航空航”在词典中没有匹配到,然后步长减一,为7
然后数七个字“我来自沈阳航空”同样在字典中没有匹配到,步长减一,为6
........
步长为1时依然没有匹配到,但是是单音节词了,所以存放在匹配结果中
以此执行,下一次从“是”开始......
所以最终的匹配结果是:我 来 自 沈阳航空航天大学 沈阳 航空 航天 大学
------基于理解的分词方法
类似于人工智能分词了,能够自动识别词语的意思,进行分词
------基于统计的分词方法
这里有一篇关于基于统计分词的文章讲的相当详细,大家可以参考以下:http://www.cnblogs.com/xingyun/archive/2013/01/10/2854397.html
2:两大难题
----歧义识别
----新词识别
3:应用
----搜索引擎
----自然语言处理
二:Lucence的中文分词
1:基于字符串匹配的分词
----paoding
----mmseg4j:MMseg算法
----IK:正向迭代最细粒度划分算法
2:基于统计的分词
----imdict:采用隐马尔可夫模型
三:庖丁分词简介
极具有高效性和可扩展性,采用完全的面向对象设计,构思先进
主页:http://code.google.com/p/paoding
优点:
自定义词库,通过修改paoding-analysis.jar中的paoding-dic-home.properties文件中的“paoding.dic.home=dic”定义自己 的词库
能够对未知的词汇进行合理的分析,分词效率高
部署:
下载地址:http://pan.baidu.com/s/1eQ88SZS
1. 配置dic文件:
修改paoding-analysis.jar中的paoding-dic-home.properties文件,将“#paoding.dic.home=dic”的注释去掉,并配置成自己dic文件的本地存放路径。eg:/home/hadoop/work/paoding-analysis-2.0.4-beta/dic
2. 把Jar包导入到项目中:
将paoding-analysis.jar、commons-logging.jar、lucene-analyzers-2.2.0.jar和lucene-core-2.2.0.jar四个包导入到项目中,这时就可以在代码片段中使用庖丁解牛工具提供的中文分词技术
3:代码实例
package tokens;
import java.io.IOException;
import java.io.StringReader;
import net.paoding.analysis.analyzer.PaodingAnalyzer;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Token;
import org.apache.lucene.analysis.TokenStream;
public class tokens {
/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
String text = "本思想就是在分词的同时进行句法、语义分析, 利用句法信息和语义信息来进行词性标注, 以解决分词歧义现象。因为现有的语法知识、句法规则十分笼统、复杂, 基于语法和规则的分词法所能达到的精确度远远还不能令人满意, 目前这种分词系统还处在试验阶段。";
//定义一个解析器
Analyzer analyzer = new PaodingAnalyzer();
//得到token序列的输出流
TokenStream tokens = analyzer.tokenStream(text, new StringReader(text));
try{
Token t;
while((t=tokens.next() ) !=null){
System.out.println(t);
//System.out.println(t.termText()) 输出单个词
}
}catch(IOException e){
e.printStackTrace();
}
}
}