liukeforever的专栏

原创 python MMSEG 分词 实现

实现参见http://blog.csdn.net/acceptedxukai/article/details/7390300 修改了其中的几个问题 1.取 自由语素度最大的chunk 这个是要取chunk中单个字的词频取对数后的和)，而不是直接把sum chunk中每词的词频和 2. 确定唯一的chunk后应该取这个剩下的chunk的第一个词为分出的第一个词 然后对除去第一个词的剩下部分