前几天因为好久没发blog了,就拿我毕设中的一段算法凑数,没想到引起很多人的兴趣。因此就把我的分词算法单独拎出来做了一个项目叫作DartSplitter。暂时把分词算法的名称叫做树状词库分词法。
刚刚统计了一下源代码,一共也就950多行代码,加上测试用例共1200行代码。看来确实还是想法比实现重要。说明如下:
1、由于不能用原来的专业词库,因此我特地去网上找了个Access的词库,一共有一万条记录左右,还有很多单字,因此分词的效果不会太理想。不过我这里只是为了演示一下功能,幸好从数据库转成我现的词库并不复杂,我的演示程序里提供了例子,后面还会有说明。而且,真正好的词库可能还要加入机器学习等功能,真正全面的分词可能还需要将基于词库的分词与无意义的分词结合,不过这些功能都不是那么简单的啦。
2、由于测试对词库的依赖性太强了,因此我的测试用例里没有用太多的assert,只是简单地log一下结果。而且考虑到大家用TestNG的还比较少,因此我把测试用例都改成JUnit了。测试用例与外部资源的依赖一直是困扰着我的问题,不知大家有何良策?
3、由于我现在写程序已经对Spring产生依赖症了,因此虽然我希望我程序依赖的包越少越好,但还是用了Spring,这样的好处是所有接口与关联都是可配置的。因此如果要替换掉某一部分实现也会比较简单,例如从关系数据库的词库取词的接口肯定是要重写,只要配置文件里修改一行就可以了,这个在后面说明。
4、为了方便大家使用我特意写了示例splitterTest,里面提供了两个main,一个是建词库(DictSerializationMain),另一个是对一篇文章的analysis(AnalysisTest),用了SimpleAnalyzer,StandardAnalyzer和我的TreeDictAnalyzer进行对比。
5、系统在设计的时候就是与lucene紧耦合,分词的单位也是lucene中token。这是通用性与效率平衡的结果,最后我选择了效率,而且毕竟lucene是大家用得最多的全文检索引擎包。
下面讲一下使用说明:
1、如果不需要修改源代码的话,只要下载dartsplitter-0.3.jar就可以了。
2、需要在新建项目的source的etc下放入以下配置文件(示例项目里都有,只要copy就行了):dartSplitter.properties, dictJdbc.properties, dartSplitterContext.xml。
dartSplitter.properties的大概内容如下:
splitter.dictDir=f:/WebDict (指定了词典的路径,主要用于lazy load,目前还没用到)
splitter.dictFile=f:/WebDict/common.dict (词典的文件名,只要将词典文件与配置对就行了)
splitter.maxWordLength=20 (放入词库的最大词长,load之后相当于树的高度)
演示的字典文件名位于dict文件夹下:common.dict。 commonDict.mdb则是当时找来的access文件。
dictJdbc.properties的内容如下:
dict.jdbc.driverClassName=sun.jdbc.odbc.JdbcOdbcDriver
dict.jdbc.url=jdbc:odbc:commonDict
dict.jdbc.username=
dict.jdbc.password=
其实就是词库文件对应的Jdbc链接啦。
dartSplitterContext.xml是Spring的配置文件,除了建词库时访问关系数据库的DAO配置要改动外,其它都不要去动。
3、建自己的词库
A、自己implements一下DictDAO接口,提供自己的实现,DictDAO的接口定义很简单,只要实现两个方法就行了,可参考CommonDictDAO的实现:
public interface DictDAO {
/**
* @param strPrefix 词的首个字
* @return 以这个字为首字的词对象(@see cn.edu.zju.dartsplitter.data.DictValue)的列表
*/
public List<DictValue> getDictValues(String strPrefix);
/**
* @return 词库中所有词的首字列表
*/
public List<String> getAllPrefixes();
}
B、修改dartSplitterContext.xml的配置:
<bean id="dictTree" class="cn.edu.zju.dartsplitter.impl.DictTreeImpl">
<property name="rebuild"><value>false</value></property>
<property name="maxWordLength"><value>${splitter.maxWordLength}</value></property>
<property name="fileName"><value>${splitter.dictFile}</value></property>
<property name="dictDAOList">
<list>
<ref local="commonDictDAO "/>
</list>
</property>
</bean>
只要在以下这段里将替换commonDictDAO为自己的DAO就行了,也可以加入新的DAO,因为我们考虑到有多个数据来源的情况,因此可以把多个DAO实现一起放入List里。
C、执行一下包里或者示例程序里的DictSerializationMain就OK了
最后感谢要一下blueGuitar,如果没有当时与他讨论时的灵感,就不会有现在的算法。还要谢谢车东,是他引导我使我对中文分词感兴趣的。
以下是项目的地址: http://ccnt.zju.edu.cn/projects/DartSplitter
我的blog地址: http://blog.itpub.net/xiecc