今天又对cnlexizer进行了一些优化,主要包括将合并词逻辑放到后续处理。使用bingzheng写的一个函数判断全半角字符。经过优化后的CNLexizer由原来的 241Kb/s 的处理速度彪升到 7.2 Mb/s 的速度!
from: http://blog.jianingy.com/2008/09/tunning-cnlexizer.html
Please leave comments to above link
今天又对cnlexizer进行了一些优化,主要包括将合并词逻辑放到后续处理。使用bingzheng写的一个函数判断全半角字符。经过优化后的CNLexizer由原来的 241Kb/s 的处理速度彪升到 7.2 Mb/s 的速度!
from: http://blog.jianingy.com/2008/09/tunning-cnlexizer.html
Please leave comments to above link