李兰溪的专栏

君子生非异也,善假于物也

让机器学会断句:基于词典的Bigram分词算法

目录概述从序列到图Unigram 模型Bigram 模型实现 概述 分词是NLP任务Pipeline中的重要步骤,一般来说都需要将句子切分成词之后,才能进一步把词进行向量化,最终输出各种各样的数学模型中,从而完成特定的NLP任务。中文不同于英文句子那样天然会用空格分割单词,所以中文句子切成独立...

2019-01-14 02:02:22

阅读数 336

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭