Paoding分词_庖丁分词_以及使用于_lucene_solr

在几个中文分词中，决定用paoding庖丁分词。

记录使用的一些问题和思路，慢慢更新。

 

与Lucene和Solr的结合及版本

待续

 

 

paoding分词的辞典定制

我的环境ubuntu，win下没有测试.

辞典路径配置：

＃1 paoding分词会优先找系统变量export PAODING_DIC_HOME作为辞典目录

＃2 如果没有，则找类目录下的文件paoding-dic-home.properties

       这个文件里配置了辞典目录和目录配置方式，看注释就行

自己添加辞典：

在辞典目录下，有很多目录，比如local/division等，可以改动并添加自己的词；

自己可以添加文件夹和文件，文件命名为xxx.dic；xxx.dic里可以添加自己应用的辞典；

辞典不起作用?

Paoding会预编译辞典，生成.compiled文件夹；

自己添加的辞典，如果想立即生效，需要删除此文件夹；［其实这还不是本质，但先说到这里；可以去看源码］

 

另外注意：
   1.每次词典修改后，要删掉dic下面的“.compiled ”文件夹，重起solr所在服务器
   2.字典必须是UTF-8编码
   3.win下不要用记事本打开

   4.自己添加的字典中的词语不要太长(我忘记多少长度了)，否则会报错：ArrayOutOfBounds

       paoding 报错 Array Out Of Bounds

 

paoding分词的优缺点评述

待续

 

 

 

paoding分词团队及社区开源软件的评述（仅仅为个人之见 --作者别砸我哈 ）

＃1 文档不太好

其实是基本没有文档，这一点跟国外的或者说标准的开源项目有很大的差别；

看看Apache上的项目，连tutorial都很详细；

＃2 测试做的不太好

基本没有完整的unit测试，这样造成的问题是不能持续集成，一个人修改了一个bug，结果引入了另外几个bug；

＃3 社区不太好

应该说结构和团队组织不太好，造成想加入没能加入，问题没人回答，成了一个冷清的社区；

-->>当然，原因嘛，国内普遍的现象；谁有时间和精力免费花在这个开源上面呢～

-->>作者别砸我哈～

 

 

O

O

O

 

O

O

O