jieba——分词、添加词典、词性标注、Tokenize

jieba——分词、添加词典、词性标注、Tokenize

---

1.分词

• jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型
• jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
• 待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8
• jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用
• jieba.lcut 以及 jieba.lcut_for_search 直接返回 list
• jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。

测试代码示例：

# encoding=utf-8
import jieba
seg_list = jieba.cut("杭州的西湖像一颗光彩夺目的明珠。", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式
seg_list = jieba.cut("猛兽总是独行，牛羊才成群结队。", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 精确模式
seg_list = jieba.cut("知我者谓我心忧，不知我者谓我何求！")  # 默认是精确模式
print("New word recognition: " +"/".join(seg_list))
seg_list = jieba.cut_for_search("轻轻的我走了，正如我轻轻的来；我轻轻的招手，作别西天的云彩。")  # 搜索引擎模式
print("Search engine mode: " +"/".join(seg_list))

结果示意图：

2.添加自定义词典

载入词典

• 开发者可以指定自己自定义的词典，以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力，但是自行添加新词可以保证更高的正确率

• 用法： jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径

• 词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。

  注意：在保存userdict.txt文件时应使用UTF-8的编码格式：
  

• 词频省略时使用自动计算的能保证分出该词的词频。
  词典内容如下：

云计算 5
李小福 2 nr
创新办 3 i
easy_install 3 eng
好用 300
韩玉赏鉴 3 nz
八一双鹿 3 nz
台中
凱特琳 nz
Edu Trust认证 2000

调整词典

• 使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。
• 使用 suggest_freq(segment, tune=True) 可调节单个词语的词频，使其能（或不能）被分出来。
• 注意：自动计算的词频在使用 HMM 新词发现功能时可能无效。
  对字典进行调整示例：
  

3.词性标注

• jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器，tokenizer 参数可指定内部使用的 jieba.Tokenizer 分词器。jieba.posseg.dt 为默认词性标注分词器。
• 标注句子分词后每个词的词性，采用和 ictclas 兼容的标记法。
• 用法示例
  

4.Tokenize

• 返回词语在原文的起止位置
• 此功能输入参数只接受 unicode
• 默认模式
• 搜索模式

代码：

#encoding=utf-8
from __future__ import unicode_literals  #将模块中显式出现的所有字符串转为unicode类型
import jieba
result = jieba.tokenize('永和服装饰品有限公司') #默认模式进行分词，Tokenize: 返回词语在原文的起止位置
print("默认模式为：")
for tk in result:
  print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))

result = jieba.tokenize(u'永和服装饰品有限公司', mode='search')
print("搜索模式为：")
for tk1 in result:
    print("word %s\t\t start: %d \t\t end:%d" % (tk1[0],tk1[1],tk1[2]))

运行后所得结果为：

5.实现代码

上述功能代码示例：

#encoding=utf-8
from __future__ import print_function, unicode_literals
import sys
sys.path.append("../")
import jieba
jieba.load_userdict("userdict.txt")
import jieba.posseg as pseg

jieba.add_word('石墨烯')
jieba.add_word('凱特琳')
jieba.del_word('自定义词')

test_sent = (
"李小福是创新办主任也是云计算方面的专家; 什么是八一双鹿\n"
"例如我输入一个带“韩玉赏鉴”的标题，在自定义词库中也增加了此词为N类\n"
"「台中」正確應該不會被切開。mac上可分出「石墨烯」；此時又可以分出來凱特琳了。"
)
words = jieba.cut(test_sent)
print('/'.join(words))

print("="*40)

result = pseg.cut(test_sent)

for w in result:
    print(w.word, "/", w.flag, ", ", end=' ')

print("\n" + "="*40)

terms = jieba.cut('easy_install is great')
print('/'.join(terms))
terms = jieba.cut('python 的正则表达式是好用的')
print('/'.join(terms))

print("="*40)
# test frequency tune
testlist = [
('今天天气不错', ('今天', '天气')),
('如果放到post中将出错。', ('中', '将')),
('我们中出了一个叛徒', ('中', '出')),
]

for sent, seg in testlist:
    print('/'.join(jieba.cut(sent, HMM=False)))
    word = ''.join(seg)
    print('%s Before: %s, After: %s' % (word, jieba.get_FREQ(word), jieba.suggest_freq(seg, True)))
    print('/'.join(jieba.cut(sent, HMM=False)))
    print("-"*40)

使用字典前：

使用字典后所得结果为：

6.命令行分词

在命令窗口中输入如下语句对《西游记》进行分词处理：

python -m jieba xiyouji.txt >xiyouji_cutcopy.txt

实现分词原文件：

运行后可得下图：

所得分词文件如下图：

7.常见问题

• “台中”总是被切成“台 中”？（以及类似情况）
  $$P(台中)＜P(台)\times P(中)$$

  “台中”词频不够导致其成词概率较低
  解决方法：强制调高词频

jieba.add_word('台中')` 或者 `jieba.suggest_freq('台中', True)

• “今天天气/不错”应该被切成“今天/天气/不错”？（以及类似情况）
  解决方法：强制调低词频

jieba.suggest_freq(('今天', '天气'), True)

或者直接删除该词 jieba.del_word('今天天气')

• 切出了词典中没有的词语，效果不理想？
  解决方法：关闭新词发现

jieba.cut('丰田太省了', HMM=False)` `jieba.cut('我们中出了一个叛徒', HMM=False)