2. NLP基础 ： 分词

1. jieba库进行分词

1.1 分词

注：lcut()方法可以直接返回分词列表，而cut和cut_for_search方法返回的是可迭代的生成器。

import jieba
content = "现如今，机器学习和深度学习带动人工智能飞速的发展，并在图片处理、语音识别领域取得巨大成功。"

1.1.1 精确分词

# 精确分词:精确模式试图将句子最精确地切开，精确分词也是默认分词。
seges1 = jieba.cut(content,cut_all=False)
# print(list(seges1))
print("/".join(seges1))

1.1.2 全模式分词

# 全模式分词：把句子中所有的可能是词语的都扫描出来，速度非常快，但不能解决歧义。
seges2 = jieba.cut(content,cut_all=True)
# print(list(seges2))
print("/".join(seges2))

1.1.3 搜索引擎模式分词

# 搜索引擎模式：搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
segs_3 = jieba.cut_for_search(content)
print("/".join(segs_3))

1.2 开启并行分词

并行分词原理为文本按行分隔后，分配到多个 Python 进程并行分词，最后归并结果。

jieba.enable_parallel(4) # 开启并行分词模式，参数为并行进程数 。
jieba.disable_parallel() # 关闭并行分词模式 。

1.3获取分词列表中的Top N 词频

from collections import Counter

segs_3 = jieba.cut_for_search(content)
top5= Counter(segs_3).most_common(5)
print(top5)

1.4获取词性(词性标注)

jieba 可以很方便地获取中文词性，通过 jieba.posseg 模块实现词性标注。

import jieba.posseg as psg
print([(x.word,x.flag) for x in psg.lcut(content)])

for x in psg.lcut(content):
    print((x.word,x.flag))

1.5自定义添加词和字典

"""
默认情况下，使用默认分词，是识别不出这句话中的“铁甲网”这个新词，
这里使用用户字典提高分词准确性。
"""
txt = "铁甲网是中国最大的工程机械交易平台。"
print(jieba.lcut(txt))

# 添加一个词到字典,那么分词器遇到包含该词语的句子的时候就能将其分开.
jieba.add_word("铁甲网")
print(jieba.lcut(txt))

"""
以一个文件的形式添加多个词语;
通过 load_userdict()函数，加载自定义词典.
"""
jieba.load_userdict('/root/jupyterData/jupyterLabPerject/NLP/chinese_nlp-master/user_dict.txt')
print(jieba.lcut(txt))

注意事项：

• jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型。

• jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细。

2.HanLP 分词

pyhanlp 目前使用 jpype1 这个 Python 包来调用 HanLP.

• 在命令行界面，使用命令 hanlp segment 进入交互分词模式，输入一个句子并回车，HanLP 会输出分词结果.

• 通过 hanlp serve 来启动内置的 HTTP 服务器，默认本地访问地址为：http://localhost:8765

• 通过工具类 HanLP 调用常用接口，这种方式应该是我们在项目中最常用的方式。

2.1 安装pyhanlp

!pip install pyhanlp
!pip install jpype1==0.7.0
!pip install -U numpy

2.2 分词

from pyhanlp import *
content = "现如今，机器学习和深度学习带动人工智能飞速的发展，并在图片处理、语音识别领域取得巨大成功。"
print(HanLP.segment(content))

2.3 加载自定义词典进行分词

txt = "铁甲网是中国最大的工程机械交易平台。"
print(HanLP.segment(txt))

使用add()方法进行加载词典。

CustomDictionary.add("铁甲网")
CustomDictionary.insert("工程机械", "nz 1024")
CustomDictionary.add("交易平台", "nz 1024 n 1")
print(HanLP.segment(txt))

jieba 和 pyhanlp 能做的事还有很多，关键词提取、自动摘要、依存句法分析、情感分析等。