python中文分词的主要方法

python中文分词

一、jieba分词

1、精确模式（默认）：试图将句子最精确地切开，适合文本分析；

seg = jieba.cut(“这是一段中文字符”, cut_all  = False)

不加cut_all 为默认的精确模式

2、全模式，把句子中所有的可以成词的词语都扫描出来，但是不能解决歧义；

seg = jieba.cut(“这是一段中文字符”, cut_all  = True)

3、搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细。

seg =jieba.cut_for_search(“这是一段关于结巴分词的中文句子”) 

搜索引擎模式

注意：jieba.cut以及jieba.cut_for_search返回的结构都是一个可迭代的 generator，并不是一个list列表

二、哈工大LTP

1、LTP在docker中的使用

1、在github上下载Dockerfile文件

直接new一个ltp file，new一个Dockerfile文件，把github上的Dockerfile 内容直接粘贴下来