NLP常用库 基本使用

---

NLP常用库 基本使用

---

不 荒 废 现 在 ， 不 畏 惧 未 来

import jieba
# todo NLP中库的基本使用方法

# todo jieba 分词
content = "我来到北京清华大学"
# 全模式
result1 = jieba.cut(content,cut_all=True)
print(f"全模式:{' '.join(result1)}") # 全模式:今天 是 个 好 天气 ！
# 精确模式(默认)
result2 = jieba.cut(content,cut_all=False)
print(f"精确模式:{' '.join(result2)}") # 精确模式:我 来到 北京 清华大学
# HMM切分
result3 = jieba.cut("我爱自然语言处理",HMM=False)
print(f"HMM切分之前:{' '.join(result3)}") # HMM切分之前:我 爱 自然语言 处理
result4 = jieba.cut("我爱自然语言处理",HMM=True)
print(f"HMM切分之后:{' '.join(result4)}") # HMM切分之前:我 爱 自然语言 处理
# 搜索引擎模式
result5 = jieba.cut_for_search(content)
print(f"搜索引擎模式:{' '.join(result3)}") # 搜索引擎模式:我 来到 北京 清华 华大 大学 清华大学
# 并行分词
jieba.enable_paddle()
result6 = jieba.cut(content)
jieba.disable_parallel()  # 关闭并行分词
print(f"并行分词:{' '.join(result6)}")
# 添加自定义字典
con = "我今天看了诛仙"
print(f"添加自定义词前的结果:{' '.join(jieba.cut(con))}") # 添加自定义词前的结果:我 今天 看 了 诛 仙
jieba.add_word("诛仙")
print(f"添加自定义词后的结果:{' '.join(jieba.cut(con))}") # 添加自定义词后的结果:我 今天 看 了 诛仙
# 添加自定义字典文件
jieba.load_userdict("regetdict.txt")

目前仅专注于 NLP 的 技术 学习 分享
感谢大家的关注与支持！