friso是使用C语言开发的一款高性能分词组件, 并且提供了一个php分词扩展: robbe.
friso-1.3发布了:
这次的更新内容比较多, 具体如下:
1. 除去和c++,vs的冲突(string和__value)
2. 部分简易函数使用了宏定义来代替, 减少函数的调用.
3. 保留了英文全半角和中文标点符号的切分.(可以通过过滤停止词来过滤不需要的标点)
停止词词库中已经加入了全部的保留的标点, 也就是默认全部过滤了.
4. 修复friso_string#utf8_en_punctuation()函数一处bug.
5. 修复切分结果偏移量bug.(以这个词的开始索引作为offset)
6. 修复friso_lexicon#friso_dic_load一处bug.
7. 新增了对c++,c#类词条的识别.(新增lex-en-pun.lex词库) .
8. 新增了中英混合词的识别, 例如: 卡拉ok(新增lex-cemix.lex词库).
9. 更改了Makefile, 优化了clean目标并且兼容64bit系统的编译.
先前版本在b4bit系统中编译会报错.
10. 更改了词库, 加入了些许新词并且去掉了一些无用词.
11. 加入了friso开发帮助文档.pdf
很早就想发布了一个开发帮助文档了, 今天终于完善了...
关于friso:http://code.google.com/p/friso
下载friso: http://code.google.com/p/friso/downloads/list
robbe的用户, 重新安装下friso, 并且重启下php宿主环境就ok了.
感谢网友的建议和反馈. 祝大家工作愉快 !