jieba分词学习总结

1、jieba.cut()
参数1 需要分词的字符串
参数2 是否采用全模式，默认是精确模式

seg_list=jieba.cut(‘这是一个测试’,cut_all=False)
可以用’/’.join(seg_list)

2、添加自定义词典
jieba.load_userdict(filename) filename为自定义词典的路径和文件名
格式为：一个词一行 每行分为三部分 一部分词语 另一部分词频 最后为词性 以空格分开

3、关键词提取
jieba.analyse.extract_tags(sentence,topk)
提取topk个tfidf值最大的关键词

4、词性标注
import jieba.posseg as pseg
words=pseg.cut(sentence)
for w in words
print w.word,w.flag

5、去停用词
stopwords=[line.strip().decode(‘utf-8’) for line in open(‘stop_words.txt’)]
seglist=jieba.cut(sen)
print ‘/’.join(set(seglist)-set(stopwords))
这里用到了set函数，set函数返回的是去重后的无序集合，”-“号表示差集