第08章 中文分词

最新推荐文章于 2023-08-12 16:00:17 发布
最新推荐文章于 2023-08-12 16:00:17 发布
阅读量1.4k 收藏 14
点赞数 1
分类专栏： 爬虫 文章标签： 中文分词 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1234556667/article/details/126447479
版权

 

 

序言

1. 内容介绍

本章详细介绍了中文分词以及清洗的常用方法、中文词频统计方法以及词云可视化方法等内容。

2. 理论目标

  • 了解中文分词以及清洗的常用方法；
  • 了解中文词频统计方法以及词云可视化方法。

3. 实践目标

  • 掌握中文分词以及清洗的常用方法，能完成目标中文文本分词及清洗任务；
  • 掌握中文词频统计方法以及词云可视化方法，能完成目标中文词频列表统计以及词云可视化作图。

4. 实践案例

无

5. 内容目录

  • 1.中文分词概述

  • 2.结巴分词应用

  • 3.词频统计应用

  • 4.中文分词实战

第1节 中文分词概述

中文分词指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。

0525f006030e13645efc76bb98a67d2c.png

1. 常见中文分词方法

学者提出了很多关于统计模型的中文分词方法，主要有以下几种：

  1. 基于字符串匹配的分词方法
  • 基本思想是基于词典匹配，将待分词的中文文本根据一定的规则切分和调整，然后跟词典中的词语进行匹配，匹配成功则按照词典的词进行分词，匹配失败则调整或者重新选择，如此反复循环即可。
  1. 基于理解的分词方法
  • 基本思想是通过专家系统或者机器学习神经网络方法模拟人的理解能力。
  • 前者是通过专家对分词规则的逻辑推理并总结形成特征规则，不断迭代完善规则，其受到资源消耗大和算法复杂度高的制约；
  • 后者是通过机器模拟人类理解的方式，虽然可以取得不错的效果，但是依旧受训练时间长和过度拟合等因素困扰。
  1. 基于统计的分词方法
  • 基本思想是通过不同的数学统计模型进行分析
  • 基于隐马尔可夫模型的中文分词方法；
  • 基于最大熵模型的中文分词方法；
  • 基于条件随机场模型的中文分词方法。

本章将基于隐马尔可夫模型和自定义词典结合的方法，其在分词速度、歧义分析、新词发现和准确率方面都具有良好的效果

第2节 结巴分词应用

1. 结巴分词概述

结巴分词（jieba分词）是基于Python 的中文分词工具，其分词功能强大且安装方便。该分词工具支持三种分词模式：

  1. 全模式分词，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义；
  2. 精确模式分词，试图将句子最精确地切开，适合文本分析；
  3. 搜索引擎模式分词，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

安装命令

pip install jieba -i https://pypi.tuna.tsinghua.edu.cn/simple/

29213b815388ed6f65c1ee85f689d133.png

2. 结巴分词基本操作

中文分词方法

方法一、jieba.cut()

 

jieba.cut(sentence, cut_all=False, HMM=True)

  • 参数说明
  • sentence：待分词的字符串
  • cut_all：是否采用全模式，分全模式 True、精确模式False
  • HMM：是否使用HMM模型 (隐马尔科夫模型)，基本少用

jieba.cut()返回的结构是一个可迭代的 generator。

1. 精确模式（默认 cut_all=False）

默认是精确模式，适合文本分析

 

import jieba s = "我来到中国北京故宫博物馆" segList = jieba.cut(s) print(segList) for segListi in segList: print(segListi) 

我
来到
中国
北京故宫
博物馆

2. 全模式（cut_all=True）

全模式，扫描所有可以成词的词语，速度非常快，不能解决歧义

 

import jieba s = "我来到中国北京故宫博物馆" segList = jieba.cut(s, cut_all=True) print(segList) for segListi in segList: print(segListi) 

我
来到
中国
北京
北京故宫
故宫
博物
博物馆

方法二、jieba.lcut()

 

jieba.lcut(sentence, cut_all=False, HMM=True)

  • 参数说明
  • sentence：待分词的字符串
  • cut_all：是否采用全模式，分全模式 True、精确模式False
  • HMM：是否使用HMM模型 (隐马尔科夫模型)，基本少用

jieba.lcut()方法直接返回列表（List）。

 

import jieba s = "我来到中国北京故宫博物馆" segList = jieba.lcut(s) print(segList) 

['我', '来到', '中国', '北京故宫', '博物馆']

方法三、jieba.cut_for_search()

 

jieba.cut_for_search(sentence, HMM=True)

  • 参数说明
  • sentence：待分词的字符串
  • HMM：是否使用HMM模型 (隐马尔科夫模型)，基本少用

jieba.cut_for_search()返回的结构是一个可迭代的 generator。

搜索引擎模式，对长词再次切分，粒度比较细，提高召回率，适合用于搜索引擎分词。

 

import jieba s = "我来到中国北京故宫博物馆" segList = jieba.cut_for_search(s) print(segList) for segListi in segList: print(segListi) 

我
来到
中国
北京
故宫
北京故宫
博物
博物馆

方法四、jieba.lcut_for_search()

 

jieba.lcut_for_search(sentence, HMM=True)

  • 参数说明
  • sentence：待分词的字符串
  • HMM：是否使用HMM模型 (隐马尔科夫模型)，基本少用

jieba.lcut_for_search()方法直接返回列表（List）。

 

import jieba s = "我来到中国北京故宫博物馆" segList = jieba.lcut_for_search(s) print(segList) 

['我', '来到', '中国', '北京', '故宫', '北京故宫', '博物', '博物馆']

词典定义方法

无论哪种分词都不能做到100%的准确，尤其是对一些歧义词的处理，比如“如果放在数据库中将会出错。”：

 

import jieba s = "如果放在数据库中将会出错。" segList = jieba.lcut(s) print(segList) 

['如果', '放在', '数据库', '中将', '会', '出错', '。']

为解决以上问题，jieba 提供 动态修改词频 和 添加词典文件 两种方法。

方法一、动态修改词频 jieba.suggest_freq()

可以将自定义词典逐个插入词典

 

jieba.suggest_freq(segment, tune=True)

  • 参数说明
  • segment：新增词组，可以为 单字符串 / 元组 / 列
  • tune：是否分离出来

动态修改词频，调节单个词语的词频，使其能（不能）被分出来。

 

import jieba jieba.suggest_freq(['中', '将'], tune=True) s = "如果放在数据库中将会出错。" segList = jieba.lcut(s) print(segList) 

['如果', '放在', '数据库', '中', '将', '会', '出错', '。']

方法二、添加词典文件 jieba.load_userdict()

可以将自定义词典放在一个文本文件中，实现批量添加到词典。

 

jieba.load_userdict(file_name)

  • 参数说明
  • file_name：词典文件路径及名称

添加词典文件，文件需要有特定格式，并且为UTF-8编码。

 

import jieba jieba.load_userdict(r"./user_dict.txt") s = "今天很高兴在课室和大家交流学习。" segList = jieba.lcut(s) print(segList) 

['今天', '很高兴', '在', '课室', '和', '大家', '交流学习', '。']

关键词提取方法

关键词就是最能够反映出文本主题或者意思的词语，关键词抽取就是从文本里面把跟这篇文档意义最相关的一些词抽取出来。

但是网络上写文章的人不会像写论文那样告诉你本文的关键词是什么，这个时候就需要利用计算机自动抽取出关键词，算法的好坏直接决定了后续步骤的效果。

本文将基于TF-IDF关键词抽取算法展开介绍，先抽取出候选词，然后对各个候选词进行打分，然后输出topK个分值最高的候选词作为关键词。

 

from jieba import analyse # 引入TF-IDF关键词抽取接口 tfidf = analyse.extract_tags s = ''' 此外，公司拟对全资子公司吉林欧亚置业有限公司增资4.3亿元，增资后，吉林欧亚置业注册资本由7000万元增加到5亿元。 吉林欧亚置业主要经营范围为房地产开发及百货零售等业务。 目前在建吉林欧亚城市商业综合体项目。 2013年，实现营业收入0万元，实现净利润-139.13万元。 ''' kwList = tfidf(s,10, withWeight=True) ## s 表示待分词的字符串，10 表示显示前10个词组，withWeight=True 表示是否返回权重 for k, v in kwList: print('%s %s' % (k, v)) 

欧亚 0.7300142700289363
吉林 0.659038184373617
置业 0.4887134522112766
万元 0.3392722481859574
增资 0.33582401985234045
4.3 0.25435675538085106
7000 0.25435675538085106
2013 0.25435675538085106
139.13 0.25435675538085106
实现 0.19900979900382978

词性标注方法

词性标注就是对分词结果根据词性进行标记，在过滤特征词或者实体处理都是比较有用的。

 

import jieba s = "我来到中国北京故宫博物馆" words = jieba.posseg.cut(s) for word, flag in words: print('%s %s' % (word, flag)) 

我 r
来到 v
中国 ns
北京故宫 ns
博物馆 n

词性标注代码含义：

类型代码类型代码
1.名词n 名词11.量词q 量词
1.名词nr 人名11.量词qv 动量词
1.名词nr1 汉语姓氏11.量词qt 时量词
1.名词nr2 汉语名字12.副词d 副词
1.名词nrj 日语人名13.介词p 介词
1.名词nrf 音译人名13.介词pba 介词“把”
1.名词ns 地名13.介词pbei 介词“被”
1.名词nsf 音译地名14.连词c 连词
1.名词nt 机构团体名14.连词cc 并列连词
1.名词nz 其它专名15.助词u 助词
1.名词nl 名词性惯用语15.助词uzhe 着
1.名词ng 名词性语素15.助词ule 了 喽
2.时间词t 时间词15.助词uguo 过
2.时间词tg 时间词性语素15.助词ude1 的 底
3.处所词s 处所词15.助词ude2 地
4.方位词f 方位词15.助词ude3 得
5.动词v 动词15.助词usuo 所
5.动词vd 副动词15.助词udeng 等 等等 云云
5.动词vn 名动词15.助词uyy 一样 一般 似的 般
5.动词vshi 动词“是”15.助词udh 的话
5.动词vyou 动词“有”15.助词uls 来讲 来说 而言 说来
5.动词vf 趋向动词15.助词uzhi 之
5.动词vx 形式动词15.助词ulian 连 （“连小学生都会”）
5.动词vi 不及物动词（内动词）16.叹词e 叹词
5.动词vl 动词性惯用语17.语气词y 语气词(delete yg)
5.动词vg 动词性语素18.拟声词o 拟声词
6.形容词a 形容词19.前缀h 前缀
6.形容词ad 副形词20.后缀k 后缀
6.形容词an 名形词21.字符串x 字符串
6.形容词ag 形容词性语素21.字符串xx 非语素字
6.形容词al 形容词性惯用语21.字符串xu 网址URL
7.区别词b 区别词22.标点符号w 标点符号
7.区别词bl 区别词性惯用语22.标点符号wkz 左括号，全角：（ 〔 ［ ｛ 《 【 〖 〈 半角：( [ { <
8.状态词z 状态词22.标点符号wky 右括号，全角：） 〕 ］ ｝ 》 】 〗 〉 半角： ) ] { >
9.代词r 代词22.标点符号wyz 左引号，全角：“ ‘ 『
9.代词rr 人称代词22.标点符号wyy 右引号，全角：” ’ 』
9.代词rz 指示代词22.标点符号wj 句号，全角：。
9.代词rzt 时间指示代词22.标点符号ww 问号，全角：？ 半角：?
9.代词rzs 处所指示代词22.标点符号wt 叹号，全角：！ 半角：!
9.代词rzv 谓词性指示代词22.标点符号wd 逗号，全角：， 半角：,
9.代词ry 疑问代词22.标点符号wf 分号，全角：； 半角： ;
9.代词ryt 时间疑问代词22.标点符号wn 顿号，全角：、
9.代词rys 处所疑问代词22.标点符号wm 冒号，全角：： 半角： :
9.代词ryv 谓词性疑问代词22.标点符号ws 省略号，全角：…… …
9.代词rg 代词性语素22.标点符号wp 破折号，全角：—— －－ ——－ 半角：— ----
10.数词m 数词22.标点符号wb 百分号千分号，全角：％ ‰ 半角：%
10.数词mq 数量词22.标点符号wh 单位符号，全角：￥ ＄ ￡ ° ℃ 半角：$

消除停用词方法

文本分词中的去除停用词在数据预处理中是不可或缺的内容，针对待分词文本，通过匹配停用词、数字、单个字符、空格，对文本内容进行清洗。

 

import sys import re import jieba # 1.加载自定义分词词典 jieba.load_userdict("./user_dict.txt") # 2.读取待分词文本信息 fNews = "./体育news.txt" with open(fNews,'r',encoding='utf-8') as f: docList = f.read().split('\n') # 3.读取停用词 fStopwords = "./NLPIR_stopwords.txt" with open(fStopwords,'r',encoding='utf-8') as f: stopwordList = f.read().split('\n') # 4.遍历待分词文本信息，去除符合规则的词组 docResult = [] for docListi in docList: # jieba.cut()返回可迭代的 generator，使用list() 转换为列表对象 docListiCut = list(jieba.cut(docListi, cut_all=False)) for i in range(len(docListiCut))[::-1]: if docListiCut[i] in stopwordList: # 去除停用词 docListiCut.pop(i) elif docListiCut[i].isdigit(): # 去除数字 docListiCut.pop(i) elif len(docListiCut[i]) == 1: # 去除单个字符 docListiCut.pop(i) elif docListiCut[i] == " ": # 去除空字符 docListiCut.pop(i) docResult.extend(docListiCut) print(docResult) 

['马晓旭', '意外', '受伤', '国奥', '警惕', '无奈', '大雨', '青睐', '殷家', '记者', '傅亚雨', '沈阳', '报道', '来到', '沈阳', '国奥队', '依然', '摆脱', '雨水', '困扰', '下午', '国奥队', '日常', '训练', '再度', '大雨', '干扰', '无奈', '之下', '队员', '慢跑', '分钟', '草草收场', '上午', '国奥队', '奥体中心', '外场', '训练', '阴沉沉', '气象预报', '显示', '当天', '下午', '沈阳', '大雨', '幸好', '队伍', '上午', '训练', '干扰', '下午', '球队', '抵达', '训练场', '大雨', '几个', '小时', '丝毫', '停下来', '试一试', '态度', '球队', '当天', '下午', '例行', '训练', '分钟', '天气', '转好', '迹象', '保护', '球员', '国奥队', '中止', '当天', '训练', '全队', '返回', '酒店', '训练', '足球队', '稀罕', '奥运会', '全队', '变得', '娇贵', '沈阳', '一周', '训练', '国奥队', '保证', '现有', '球员', '出现意外', '伤病', '情况', '影响', '正式', '比赛', '这一', '阶段', '控制', '训练', '受伤', '控制', '感冒', '疾病', '队伍', '放在', '位置', '抵达', '沈阳', '后卫', '冯萧霆', '训练', '冯萧霆', '长春', '患上', '感冒', '参加', '塞尔维亚', '热身赛', '队伍', '介绍', '冯萧霆', '发烧', '症状', '两天', '静养', '休息', '感冒', '恢复', '训练', '冯萧霆', '例子', '国奥队', '对雨中', '训练', '显得', '特别', '谨慎', '担心', '球员', '受凉', '引发', '感冒', '非战斗', '减员', '女足', '队员', '马晓旭', '热身赛', '受伤', '导致', '无缘', '奥运', '前科', '沈阳', '国奥队', '警惕', '训练', '嘱咐', '队员', '动作', '再出', '事情', '一位', '工作人员', '长春', '沈阳', '雨水', '一路', '伴随', '国奥队', '长春', '几次', '训练', '大雨', '搅和', '没想到', '沈阳', '碰到', '事情', '一位', '国奥', '球员', '雨水', '青睐', '不解']

第3节 词频统计应用

1. 词频统计概述

词频统计是一种用于情报检索与文本挖掘的常用加权技术，用以评估一个词对于一个文件的重要程度。

字词的重要性随着它在文件中出现次数成正比增加。

2. 基于Counter词频统计

collections 作为python的重点、高频模块，通过其中的 Counter类可快速实现字词列表的词频统计。

Counter作为字典dicit()的一个子类，将元素进行数量统计，计数后返回一个字典，键值为元素，值为元素个数。因此可参照字典进行基本操作。

 

from collections import Counter ## docResult 作为字词列表（见上节返回结果） Words = Counter(docResult) for k, v in Words.items(): print(k, v) # .items() 返回每个键值对组成的元组，按字典集合中，每一个元组的第二个元素排列。 WordsSorted=sorted(Words.items(),key=lambda x:x[1],reverse=False) print(WordsSorted) 

马晓旭 2
意外 1
受伤 3
国奥 2
警惕 2
无奈 2
...

[('意外', 1), ('殷家', 1), ('记者', 1), ('傅亚雨', 1), ('报道', 1), ('来到', 1), ('依然', 1), ('摆脱', 1), ('困扰', 1), ('日常', 1), ('再度', 1), ('之下', 1), ('慢跑', 1), ('草草收场', 1), ('奥体中心', 1), ('外场', 1), ('阴沉沉', 1), ('气象预报', 1), ('显示', 1), ('幸好', 1), ('训练场', 1), ('几个', 1), ('小时', 1), ('丝毫', 1), ('停下来', 1), ('试一试', 1), ('态度', 1), ('例行', 1), ('天气', 1), ('转好', 1), ('迹象', 1), ('保护', 1), ('中止', 1), ('返回', 1), ('酒店', 1), ('足球队', 1), ('稀罕', 1), ('奥运会', 1), ('变得', 1), ('娇贵', 1), ('一周', 1), ('保证', 1), ('现有', 1), ('出现意外', 1), ('伤病', 1), ('情况', 1), ('影响', 1), ('正式', 1), ('比赛', 1), ('这一', 1), ('阶段', 1), ('疾病', 1), ('放在', 1), ('位置', 1), ('后卫', 1), ('患上', 1), ('参加', 1), ('塞尔维亚', 1), ('介绍', 1), ('发烧', 1), ('症状', 1), ('两天', 1), ('静养', 1), ('休息', 1), ('恢复', 1), ('例子', 1), ('对雨中', 1), ('显得', 1), ('特别', 1), ('谨慎', 1), ('担心', 1), ('受凉', 1), ('引发', 1), ('非战斗', 1), ('减员', 1), ('女足', 1), ('导致', 1), ('无缘', 1), ('奥运', 1), ('前科', 1), ('嘱咐', 1), ('动作', 1), ('再出', 1), ('工作人员', 1), ('一路', 1), ('伴随', 1), ('几次', 1), ('搅和', 1), ('没想到', 1), ('碰到', 1), ('不解', 1), ('马晓旭', 2), ('国奥', 2), ('警惕', 2), ('无奈', 2), ('青睐', 2), ('干扰', 2), ('分钟', 2), ('上午', 2), ('球队', 2), ('抵达', 2), ('全队', 2), ('控制', 2), ('热身赛', 2), ('事情', 2), ('一位', 2), ('受伤', 3), ('雨水', 3), ('队员', 3), ('当天', 3), ('队伍', 3), ('长春', 3), ('下午', 4), ('球员', 4), ('感冒', 4), ('冯萧霆', 4), ('大雨', 5), ('沈阳', 8), ('国奥队', 8), ('训练', 13)]

3. 基于NLTK词频统计

NLTK概述

NLTK（Natural Language Toolkit，自然语言工具包）是Python编程语言实现的自然语言处理工具，广泛应用于经验语言学、认知科学、人工智能、信息检索和机器学习领域。

nltk库安装

pip install nltk -i https://pypi.tuna.tsinghua.edu.cn/simple/

a1b21492ee9f1ed909aff33af3451137.png

文本词频统计

使用NLTK的方法统计字词列表的词频信息：

 

from nltk import * ## docResult 作为字词列表（见上节返回结果） fdist = FreqDist(docResult) print(fdist) print(type(fdist)) words = fdist.keys() ## 字词列表 print(words) wordsFreq = fdist.values() ## 字词频数 print(wordsFreq) 

<FreqDist with 120 samples and 189 outcomes>
<class 'nltk.probability.FreqDist'>
dict_keys(['马晓旭', '意外', '受伤', '国奥', '警惕', '无奈', '大雨', '青睐', '殷家', '记者', '傅亚雨', '沈阳', '报道', '来到', '国奥队', '依然', '摆脱', '雨水', '困扰', '下午', '日常', '训练', '再度', '干扰', '之下', '队员', '慢跑', '分钟', '草草收场', '上午', '奥体中心', '外场', '阴沉沉', '气象预报', '显示', '当天', '幸好', '队伍', '球队', '抵达', '训练场', '几个', '小时', '丝毫', '停下来', '试一试', '态度', '例行', '天气', '转好', '迹象', '保护', '球员', '中止', '全队', '返回', '酒店', '足球队', '稀罕', '奥运会', '变得', '娇贵', '一周', '保证', '现有', '出现意外', '伤病', '情况', '影响', '正式', '比赛', '这一', '阶段', '控制', '感冒', '疾病', '放在', '位置', '后卫', '冯萧霆', '长春', '患上', '参加', '塞尔维亚', '热身赛', '介绍', '发烧', '症状', '两天', '静养', '休息', '恢复', '例子', '对雨中', '显得', '特别', '谨慎', '担心', '受凉', '引发', '非战斗', '减员', '女足', '导致', '无缘', '奥运', '前科', '嘱咐', '动作', '再出', '事情', '一位', '工作人员', '一路', '伴随', '几次', '搅和', '没想到', '碰到', '不解'])
dict_values([2, 1, 3, 2, 2, 2, 5, 2, 1, 1, 1, 8, 1, 1, 8, 1, 1, 3, 1, 4, 1, 13, 1, 2, 1, 3, 1, 2, 1, 2, 1, 1, 1, 1, 1, 3, 1, 3, 2, 2, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 4, 1, 2, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 4, 1, 1, 1, 1, 4, 3, 1, 1, 1, 2, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 1, 1, 1, 1, 1, 1, 1, 1])

特定字词词频统计

使用NLTK的方法统计特定字词的词频信息（频率和次数）：

 

from nltk import * ## docResult 作为字词列表（见上节返回结果） fdist = FreqDist(docResult) w = '训练' print(fdist.freq(w)) ## 特定字词出现的频率 print(fdist[w]) ## 特定字词出现的次数 

0.06878306878306878
13

字词词频分布表

由于散落的列表形式不容易观察词频分布情况，因此需要使用词频分布表来显示。

 

from nltk import * ## docResult 作为字词列表（见上节返回结果） fdist = FreqDist(docResult) fdist.tabulate(10) ## 字词频率分布表：字词及频数 

 训练  沈阳 国奥队  大雨  下午  球员  感冒 冯萧霆  受伤  雨水 
 13   8   8   5   4   4   4   4   3   3

4. 自定义去高低词频

在词频统计基础上，为了更加精准地分析特征词和模型结果，需要识别区分高频词和低频词。词频的选择主要考虑以下3个方面：

  1. 选择高低词频，有时候高低词频更能代表文本的特征，比如一篇足球的报告，其中足球、跑位等领域特征词频明显高于普通词，此刻就对高频词赋予更大的权重。
  2. 选择中间词，当特别高或特别低的词频是一种异常值时，不能突显文章的核心内容，此时可考虑截取中位特征词。
  3. 至于高低词频的选择，可根据实际应用环境设定。
 

from collections import Counter ''' 剔除频数过高或过低的字词 wordList：字词列表 nmin：低频词的数量阈值 nmax：高频词的数量阈值 ''' def wordFreq(wordList, nmin, nmax): wordResult = [] wordDict = Counter(wordList) for key in wordDict.keys(): if wordDict.get(key) > nmin and wordDict.get(key) < nmax: wordResult.append((key, wordDict.get(key))) return wordResult ## docResult 作为字词列表（见上节返回结果） wordSelect = wordFreq(docResult, 2, 15) print(wordSelect) 

[('受伤', 3), ('大雨', 5), ('沈阳', 8), ('国奥队', 8), ('雨水', 3), ('下午', 4), ('训练', 13), ('队员', 3), ('当天', 3), ('队伍', 3), ('球员', 4), ('感冒', 4), ('冯萧霆', 4), ('长春', 3)]

5. 自定义规则提取特征词

特征词中有一类词特别重要，这类词指的是实体，包括人名、地名、机构名、数字、日期等。

因此会出现一个专门的研究方向叫做命名实体识别，可以借助上文的词性对命名实体进行简单的选择，比如需要提取人名、地名、机构团体和其他专有名词，对应的只需要选择（‘nr’,‘ns’,‘nt’,‘nz’）即可。

 

import jieba.posseg as ps # 1.读取待分词文本信息 fNews = "./体育news.txt" with open(fNews,'r',encoding='utf-8') as f: docList = f.read().split('\n') # 2.读取停用词 fStopwords = "./NLPIR_stopwords.txt" with open(fStopwords,'r',encoding='utf-8') as f: stopwordList = f.read().split('\n') # 3.遍历待分词文本信息，按既定规则进行特征抽取 userPosList = ['nr','ns','nt','nz'] docResult = [] for docListi in docList: for word, pos in ps.cut(docListi): if word not in stopwordList and (word, pos) not in docResult and pos in userPosList: docResult.append((word, pos)) print(docResult) 

[('马晓旭', 'nr'), ('国奥', 'nz'), ('傅亚雨', 'nr'), ('沈阳', 'ns'), ('国奥队', 'nt'), ('奥体中心', 'nt'), ('冯萧霆', 'nr'), ('长春', 'ns'), ('非战斗', 'nz')]

第4节 中文分词实战

1. 需求描述与实现思路

需求描述

结合前述的中文分词方法，实现目录下体育新闻文本的批量分词，并对字词列表进行消除停用词处理，以词云形式展示词频分布。

c894439b69d0ff0cc1344a57876fc1b7.png

4e399eb9071615f40cfdde6bf550bd0f.png

实现思路

实现思路：

  1. 遍历文件功能以类封装，遍历指定目录路径下文档，读取文档并返回文档内容
  2. 中文分词及清理以类封装，包括停用词文件路径初始化、加载停用词方法、中文文本分词及字词清洗方法
  3. 调用词云作图函数，对字词列表进行可视化

2. 实现遍历文件功能

基于《第七章 文本信息提取》获取文件列表方法，函数返回值关键字 return 改为 yield，如此便成了生成器函数，可以大大提升代码执行效率。

 

import os ## 1. 遍历文件功能以类封装，遍历指定目录路径下文档，读取文档并返回文档内容 class loadFiles(): def __init__(self, par_path): self.par_path = par_path def __iter__(self): for file in os.listdir(self.par_path): # 遍历路径下所有文件 file_path = os.path.join(self.par_path, file) if os.path.isfile(file_path): # 判断是否为文件，以下仅针对文件进行操作 fin = open(file_path, 'rb') # rb读取方式更快 content = fin.read().decode('utf8') yield content fin.close() if __name__ == "__main__": path = "./sportnews/" files = loadFiles(path) for i, filei in enumerate(files): print("正在处理第{}篇文章……".format( i+1 )) # print(filei) 

正在处理第1篇文章……
正在处理第2篇文章……
正在处理第3篇文章……
正在处理第4篇文章……
正在处理第5篇文章……
正在处理第6篇文章……
...

3. 实现中文分词及清理功能

结合第 2 节介绍的中文分词方法和消除停用词方法，通过函数封装，实现针对文本分词及清洗功能。

 

import sys import re import jieba ## 2. 中文分词及清理以类封装，包括停用词文件路径初始化、加载停用词方法、中文文本分词及字词清洗方法 class StrCut(): # 停用词文件路径初始化 def __init__(self, stopwordPath=r""): self.stopwordPath = stopwordPath self.stopwordList = [] # 加载停用词方法 def LoadStopword(self): with open(self.stopwordPath, 'r', encoding='utf-8') as f: self.stopwordList = f.read().split('\n') # 中文文本分词及字词清洗方法：去除停用词、去除数字、去除单个字符、去除空字符 def ClearWord(self, wordStr): docList = wordStr.split('\n') docResult = [] for docListi in docList: # jieba.cut()返回可迭代的 generator，使用list() 转换为列表对象 docListiCut = list(jieba.cut(docListi, cut_all=False)) for i in range(len(docListiCut))[::-1]: if docListiCut[i] in self.stopwordList: # 去除停用词 docListiCut.pop(i) elif docListiCut[i].isdigit(): # 去除数字 docListiCut.pop(i) elif len(docListiCut[i]) == 1: # 去除单个字符 docListiCut.pop(i) elif docListiCut[i] == " ": # 去除空字符 docListiCut.pop(i) docResult.extend(docListiCut) return docResult if __name__ == "__main__": # 1.读取待分词文本信息 fNews = "./体育news.txt" with open(fNews,'r',encoding='utf-8') as f: docList = f.read() ## 中文分词及清理类实例化 stopwordPath = "./NLPIR_stopwords.txt" fileCut = StrCut(stopwordPath) fileCut.LoadStopword() ## 加载停用词 docResult = fileCut.ClearWord(docList) print(docResult) 

['马晓旭', '意外', '受伤', '国奥', '警惕', '无奈', '大雨', '青睐', '殷家', '记者', '傅亚雨', '沈阳', '报道', '来到', '沈阳', '国奥队', '依然', '摆脱', '雨水', '困扰', '下午', '国奥队', '日常', '训练', '再度', '大雨', '干扰', '无奈', '之下', '队员', '慢跑', '分钟', '草草收场', '上午', '国奥队', '奥体中心', '外场', '训练', '阴沉沉', '气象预报', '显示', '当天', '下午', '沈阳', '大雨', '幸好', '队伍', '上午', '训练', '干扰', '下午', '球队', '抵达', '训练场', '大雨', '几个', '小时', '丝毫', '停下来', '试一试', '态度', '球队', '当天', '下午', '例行', '训练', '分钟', '天气', '转好', '迹象', '保护', '球员', '国奥队', '中止', '当天', '训练', '全队', '返回', '酒店', '训练', '足球队', '稀罕', '奥运会', '全队', '变得', '娇贵', '沈阳', '一周', '训练', '国奥队', '保证', '现有', '球员', '出现意外', '伤病', '情况', '影响', '正式', '比赛', '这一', '阶段', '控制', '训练', '受伤', '控制', '感冒', '疾病', '队伍', '放在', '位置', '抵达', '沈阳', '后卫', '冯萧霆', '训练', '冯萧霆', '长春', '患上', '感冒', '参加', '塞尔维亚', '热身赛', '队伍', '介绍', '冯萧霆', '发烧', '症状', '两天', '静养', '休息', '感冒', '恢复', '训练', '冯萧霆', '例子', '国奥队', '对雨中', '训练', '显得', '特别', '谨慎', '担心', '球员', '受凉', '引发', '感冒', '非战斗', '减员', '女足', '队员', '马晓旭', '热身赛', '受伤', '导致', '无缘', '奥运', '前科', '沈阳', '国奥队', '警惕', '训练', '嘱咐', '队员', '动作', '再出', '事情', '一位', '工作人员', '长春', '沈阳', '雨水', '一路', '伴随', '国奥队', '长春', '几次', '训练', '大雨', '搅和', '没想到', '沈阳', '碰到', '事情', '一位', '国奥', '球员', '雨水', '青睐', '不解']

4. 词云可视化

词云可视化，需借助第三方库wordcloud 实现。词云可视化功能以函数封装，调用时只要函数名及传入字词列表参数即可。

词云库安装

pip install wordcloud -i https://pypi.tuna.tsinghua.edu.cn/simple/

b2d046c29f256e1fc463d419a6f33e8a.png

 

import os import jieba from wordcloud import WordCloud import matplotlib.pyplot as plt from PIL import Image import numpy as np ## 3. 调用词云作图函数，对字词列表进行可视化 ## 3.1.矩形词云图 def drawPic(docList): # 引用系统中文字体，以防文字无法显示 font = r"C:/Windows/Fonts/微软雅黑/msyhl.ttc" docStr = " ".join(docList) s = WordCloud( font_path=font, background_color=None, width=1200, height=600 ).generate(docStr) s.to_file("cloud.png") # 保存图片 plt.imshow(s) plt.axis("off") plt.show() ## 3.2.指定背景词云图 def drawSportPic(docList): # 引用系统中文字体，以防文字无法显示 font = r"C:/Windows/Fonts/微软雅黑/msyhl.ttc" docStr = " ".join(docList) img = Image.open("logo.jpg") mask = np.array(img) img.close() s = WordCloud( mask = mask, font_path=font, background_color='white', width=720, height=650 ).generate(docStr) s.to_file("sportcloud.png") # 保存图片 plt.imshow(s) plt.axis("off") plt.show() if __name__ == "__main__": # 1.读取待分词文本信息 fNews = "./体育news.txt" with open(fNews,'r',encoding='utf-8') as f: docList = f.read() ## 中文分词及清理类实例化 stopwordPath = "./NLPIR_stopwords.txt" fileCut = StrCut(stopwordPath) fileCut.LoadStopword() ## 加载停用词 docResult = fileCut.ClearWord(docList) drawPic(docResult) ## 矩形词云图 drawSportPic(docResult) ## 以指定图片为背景做词云图

79837a9c60440c49c5cb4152827c9ec1.png

51ee3e7f63dc63a1da67067e77424bb1.png

5. 中文分词小结

综合以上步骤，经过类和函数封装，用户通过对象实例化和函数调用，只要输入待分词文本路径、停用词文件路径，即可完成指定目录下文件文本分词、字词清理、云图可视化等功能。

  1. 遍历文件功能类：
  • 定义类 loadFiles
  • 定义__init__方法（实例属性）

文件目录路径

  • 定义__iter__方法

说明实例对象为可迭代的对象，获取文件列表方法

  1. 文分词及清理类：
  • 定义类 StrCut
  • 定义__init__方法（实例属性）
  • 停用词文件路径
  • 停用词列表
  • 定义ClearWord方法

实现中文文本分词及字词清洗：去除停用词、去除数字、去除单个字符、去除空字符

  1. 词云作图函数，对字词列表进行可视化
  • 3.1. 矩形词云图
  • 3.2. 指定背景词云图
 

#!/usr/bin/python # -*- coding: utf-8 -*- # @Time : 2021年8月19日 # @Author : Alan # @Webchat : kingdragon_lun@126.com # @FileName: ch08.py # @Software: Python 3.7 ''' 功能描述： 实现目录下体育新闻文本的批量分词，并对字词列表进行消除停用词处理，以词云形式展示词频分布。 实现思路： 1. 遍历文件功能以类封装，遍历指定目录路径下文档，读取文档并返回文档内容 2. 中文分词及清理以类封装，包括停用词文件路径初始化、加载停用词方法、中文文本分词及字词清洗方法 3. 调用词云作图函数，对字词列表进行可视化 ''' import os import jieba from wordcloud import WordCloud import matplotlib.pyplot as plt from PIL import Image import numpy as np ## 1. 遍历文件功能以类封装，遍历指定目录路径下文档，读取文档并返回文档内容 class loadFiles(): ''' 输入： 1. par_path 指定待遍历文件的目录路径 输出： 1. content 文档内容 ''' def __init__(self, par_path): self.par_path = par_path def __iter__(self): for file in os.listdir(self.par_path): # 遍历路径下所有文件 file_path = os.path.join(self.par_path, file) if os.path.isfile(file_path): # 判断是否为文件，以下仅针对文件进行操作 fin = open(file_path, 'rb') # rb读取方式更快 content = fin.read().decode('utf8') yield content fin.close() ## 2. 中文分词及清理以类封装，包括停用词文件路径初始化、加载停用词方法、中文文本分词及字词清洗方法 class StrCut(): ''' 输入： 1. stopwordPath 指定停用词文件路径 输出： 1. docResult 文档字词经分词及清理后的列表 ''' # 停用词文件路径初始化 def __init__(self, stopwordPath=r""): self.stopwordPath = stopwordPath self.stopwordList = [] # 加载停用词方法 def LoadStopword(self): with open(self.stopwordPath, 'r', encoding='utf-8') as f: self.stopwordList = f.read().split('\n') # 中文文本分词及字词清洗方法：去除停用词、去除数字、去除单个字符、去除空字符 def ClearWord(self, wordStr): docList = wordStr.split('\n') docResult = [] for docListi in docList: # jieba.cut()返回可迭代的 generator，使用list() 转换为列表对象 docListiCut = list(jieba.cut(docListi, cut_all=False)) for i in range(len(docListiCut))[::-1]: if docListiCut[i] in self.stopwordList: # 去除停用词 docListiCut.pop(i) elif docListiCut[i].isdigit(): # 去除数字 docListiCut.pop(i) elif len(docListiCut[i]) == 1: # 去除单个字符 docListiCut.pop(i) elif docListiCut[i] == " ": # 去除空字符 docListiCut.pop(i) docResult.extend(docListiCut) return docResult ## 3. 调用词云作图函数，对字词列表进行可视化 ## 3.1.矩形词云图 def drawPic(docList): # 引用系统中文字体，以防文字无法显示 font = r"C:/Windows/Fonts/微软雅黑/msyhl.ttc" docStr = " ".join(docList) s = WordCloud( font_path=font, background_color=None, width=1200, height=600 ).generate(docStr) s.to_file("cloud.png") # 保存图片 plt.imshow(s) plt.axis("off") plt.show() ## 3.2.指定背景词云图 def drawSportPic(docList): # 引用系统中文字体，以防文字无法显示 font = r"C:/Windows/Fonts/微软雅黑/msyhl.ttc" docStr = " ".join(docList) img = Image.open("logo.jpg") mask = np.array(img) img.close() s = WordCloud( mask = mask, font_path=font, background_color='white', width=720, height=650 ).generate(docStr) s.to_file("sportcloud.png") # 保存图片 plt.imshow(s) plt.axis("off") plt.show() if __name__ == "__main__": ## 遍历文件功能类实例化 path = "./sportnews/" fileStrs = loadFiles(path) ## 中文分词及清理类实例化 stopwordPath = "./NLPIR_stopwords.txt" fileCut = StrCut(stopwordPath) fileCut.LoadStopword() ## 加载停用词 ## 遍历文件，将所有字词合并到一个列表 docList = [] for i, fileStrsi in enumerate(fileStrs): print("正在处理第{}篇文章……".format(i)) docListi = fileCut.ClearWord(fileStrsi) docList.extend(docListi) #drawPic(docList) ## 矩形词云图 drawSportPic(docList) ## 以指定图片为背景做词云图

开始实验

第5节 附录

 

 

《自然语言处理实战入门》第三章 ：中文分词原理及相关组件简介---- 汉语分词领域主要分词算法、组件、服务(下)
shiter编写程序的艺术
01-25 3105
3.云厂商API 百度语言处理基础技术 依托海量检索数据，并且搜索引擎本身就是NLP 最终的结果产出，所以在NLP领域，百度无论是语料库丰富程度，技术先进性，以及服务多样性等都是遥遥领先其他厂家，基本上可以算作是中文NLP服务提供商的业界最佳实践。 百度云语言处理技术：http://ai.baidu.com/tech/nlp PaddleNLP 百度nlp c++ 版本 百度词法...
NLP系列-中文分词（基于词典）
weixin_34284188的博客
09-21 989
中文分词概述 词是最小的能够独立活动的有意义的语言成分，一般分词是自然语言处理的第一项核心技术。英文中每个句子都将词用空格或标点符号分隔开来，而在中文中很难对词的边界进行界定，难以将词划分出来。在汉语中，虽然是以字为最小单位，但是一篇文章的语义表达却仍然是以词来划分的。因此处理中文文本时，需要进行分词处理，将句子转为词的表示，这就是中文分词。 中文分词的三个难题： ...
中文分词词典
06-27
中文分词使用的词典，涵盖量很大.可直接使用的词典资源，在做中文分词相关程序的时候很有用。
中文分词
轻轻草原
10-27 508
中文分词 百科名片 中文分词 (Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一层上...
中文分词词库
09-20
分词词库字典，主要为百度中文分词，主要用于中文jieba分词的自定义词典，或者其他分词工具的自定义词典等。
hmm中文分词原理简单介绍与python实现
weixin_44599230的博客
04-05 4248
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录马尔可夫模型隐马尔可夫模型1.引入库2.读入数据总结 马尔可夫模型 一个长度为N的序列N1，N2，N3，...NNN_{1}， N_{2}， N_{3}，...N_{N}N1​，N2​，N3​，...NN​，每个位置有k种可能的状态Sj(1<=j<=k)S_{j}(1<=j<=k)Sj​(1<=j<=k)，第t个位置的状态qtq_{t}qt​ 取决于前t个位置的状态,概率表示为p(qt=Sj∣.
数学之美 第4章 谈谈中文分词
向往未来
03-20 1292
数学之美  第4章  谈谈中文分词 我们直接进入主题吧！ 中文分词的演变： 1.  第一个中文分词就是  “查字典”方法，就是把句子从左到右顺序扫描一遍，遇到字典里的词就标示出来，遇到复合型词汇就采用最长匹配原则，遇到不认识或者无法分得词汇呢就采用 单字词的模式，这样基本上也覆盖了七八成的中文分词结果了。  唯一的缺点：遇到二义性也就是歧义性的词汇是就无能为力了。
第08章_中文分词.zip
08-21
中文分词
中文分词词库大全词库
08-21
这是前一段时间我在研究中文分词时在网上找到的一个词典，TXT格式的，拿出来分享一下。这是前一段时间我在研究中文分词时在网上找到的一个词典，TXT格式的，拿出来分享一下。这是前一段时间我在研究中文分词时在网上找到的一个词典，TXT格式的，拿出来分享一下。这是前一段时间我在研究中文分词时在网上找到的一个词典，TXT格式的，拿出来分享一下。
用于中文分词的中文词库包
01-04
15W以上中文词库，可用于 信息检索 搜索引擎 分词 15W以上中文词库，可用于 信息检索 搜索引擎 分词 15W以上中文词库，可用于 信息检索 搜索引擎 分词
中文分词字典
04-13
中文分词字典
SentencePiece：pieces、字节编码、Unicode字符【LLaMA-7b的分词器共32002个piece】【Chinese-LLaMA-Alpaca中文分词器共20000个piece】
最新发布
u013250861的博客
08-12 1500
SentencePiece：pieces、字节编码、Unicode字符【LLaMA-7b的分词器共32002个piece】【Chinese-LLaMA-Alpaca中文分词器共20000个piece】
评论语义分析 分词 分类python_python自然语言处理（一）
weixin_33479446的博客
01-30 1253
自言语言处理基础知识参考：https://blog.csdn.net/meihao5/article/details/79592667英文资料：http://github.com/lovesoft5/ml一、自然语言处理概述1)自然语言处理：利用计算机为工具，对书面实行或者口头形式进行各种各样的处理和加工的技术，是研究人与人交际中以及人与计算机交际中的演员问题的一门学科，是人工智能的主要内容。2)...
哈工大 智能技术与自然语言处理课程 NLP系列课程 全套课程PPT课件 共12个章节 含脑图总结与研究报告.rar
04-25
【课程列表】 第01章 自然语言处理概论 共...第08章2 问答式信息检索的理论与方法研究进展报告 共31页.ppt 相似的认知心理学模型：系统相似模型 共65页.ppt 一篇论文的诞生 共70页.ppt 自然语言处理大总结 脑图总结.pdf
中文分词词典构造简述
吴家齐的专栏
10-05 4394
中文分词词典构造简述 在分词系统中常用的分词词典机制有:(1)基于整词二分;(2)基于TRIE索引树;(3)基于逐字二分. 一、基于整词二分的分词词典机制 这是一种广为使用的分词词典机制.其结构通常分为三级，前两级为索引，如图3.1听示。 图 3.1 基于整词二分的分词词典机制   1.首字散列表 词首字散列函数根据汉字的国标区位码给出。通过一次Hash运算即
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

撸码的xiao摩羯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值