自然语言处理

于 2025-03-17 17:43:50 发布
阅读量700 收藏 8
点赞数 17
文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83196531/article/details/146319367
版权

1. 程序实现的功能

本程序实现了一个自然语言处理（NLP）工具，能够对文本进行多方面的分析和处理。核心功能包括：

  1. 分词功能：将输入的文本拆解成词语或单词，支持中英文文本。

  2. 词频统计功能：统计文本中各个词语的出现频率。

  3. 词性标注功能：识别文本中每个词语的词性（如名词、动词等）。

  4. 可视化功能：生成词云、柱状图、饼状图等可视化图表，直观展示词频统计结果。

  5. 实体识别功能：识别文本中的命名实体（如人名、地名、组织等）。

  6. 自定义词典功能：允许用户添加自定义词汇，提升分词和实体识别的准确性。

  7. 输出结果：将统计数据和可视化结果保存到文件中。

2. 设计思想

本程序采用模块化设计，每个功能独立实现，便于扩展和维护。程序的基本框架如下：

  1. 文本处理模块：负责文本的预处理（如分词、去除停用词等）。

  2. 统计模块：实现词频统计、词性标注等功能。

  3. 可视化模块：生成词云、柱状图、饼状图等可视化图表。

  4. 自定义词典模块：支持用户添加自定义词汇。

  5. 输入输出模块：处理用户输入并将结果输出到文件。

3. 用到的主要库和库函数介绍

3.1 主要库

  1. nltk（Natural Language Toolkit）：

    • 用于英文文本的分词、词性标注、词频统计等。

    • 主要函数：

      • nltk.word_tokenize()：对英文文本进行分词。

      • nltk.pos_tag()：对文本进行词性标注。

      • nltk.FreqDist()：统计词频。

  2. jieba：

    • 中文分词库，用于对中文文本进行分词。

    • 主要函数：

      • jieba.cut()：对中文文本进行分词。

  3. matplotlib：

    • 数据可视化库，用于绘制柱状图、饼状图、点状图等。

    • 主要函数：

      • matplotlib.pyplot.bar()：绘制柱状图。

      • matplotlib.pyplot.pie()：绘制饼状图。

      • matplotlib.pyplot.scatter()：绘制点状图。

  4. wordcloud：

    • 用于生成词云图。

    • 主要函数：

      • WordCloud()：生成词云。

  5. easygui / tkinter：

    • 提供简单的图形用户界面（GUI），easygui适合简单交互，tkinter适合开发更复杂的界面。

4. 测试数据

为测试程序功能，可以使用以下示例文本：

自然语言处理（NLP）是计算机科学和人工智能领域中的一个重要研究方向。它主要研究如何让计算机理解、处理和生成自然语言。NLP技术在机器翻译、语音识别、情感分析等领域有广泛的应用。近年来，随着深度学习技术的不断发展，NLP的研究取得了显著进展。李明教授在研究中指出，未来NLP技术将广泛应用于医疗、金融、教育等多个行业。

测试数据包含专业术语、人名、地名等实体，适合测试分词、词性标注、实体识别等功能。

5. 输出结果

5.1 分词结果

['自然', '语言', '处理', 'NLP', '是', '计算机', '科学', '和', '人工智能', '领域', '中', '的', '一个', '重要', '研究', '方向', ...]

5.2 词频统计结果

{'自然': 2, '语言': 3, '处理': 1, 'NLP': 2, '计算机': 1, '科学': 1, ...}

5.3 词性标注结果

[('自然', 'NN'), ('语言', 'NN'), ('处理', 'VB'), ('NLP', 'NN'), ...]

5.4 可视化输出

  1. 词云图：展示高频词汇，词频越高，词语越大。

  2. 柱状图：展示词汇的出现频率。

  3. 饼状图：展示词汇的出现比例。

5.5 保存统计结果到文件

自然: 2
语言: 3
处理: 1
NLP: 2
计算机: 1
...

6. 核心功能实现代码示例

6.1 分词功能（jieba ）

import jieba
s = u'我想和女朋友一起去北京博物馆参观和逛街。'
cut = jieba.cut(s)
print('[Output]')
print(cut)
print(','.join(cut))
print(','.join(jieba.cut(s,cut_all=True)))

6.2 词频统计功能（nltk）

import jieba
from collections import Counter

# 输入文本
s = u'我想和女朋友一起去北京博物馆参观和逛街。我想去北京博物馆参观，因为那里有很多珍贵的文物。'

# 分词
cut = jieba.cut(s)

# 统计词频
word_freq = Counter(cut)

# 输出结果
print('[Output]')
print("分词结果：")
print(','.join(word_freq.keys()))  # 输出分词结果
print("\n词频统计结果：")
for word, freq in word_freq.items():
    print(f"{word}: {freq}")

6.3 词性标注（nltk）

import jieba.posseg as pseg

# 输入文本
s = u'我想和女朋友一起去北京博物馆参观和逛街。'

# 词性标注
words = pseg.cut(s)

# 输出结果
print('[Output]')
print("词性标注结果：")
for word, flag in words:
    print(f"{word}({flag})", end=' ') 

6.4 生成可视化图表（matplotlib 和 wordcloud）

6.4.1 柱状图

import matplotlib.pyplot as plt
import numpy as np

def drawPillar():
    # 定义消费分类和对应的支出金额
    categories = ('教育', '餐饮', '购物', '医疗', '服务', '娱乐', '转账', '交通', '其他')
    amounts = [150.78, 137.00, 106.90, 36.00, 34.08, 34.00, 18.00, 9.00, 27.00]

    # 设置图片清晰度
    plt.rcParams['figure.dpi'] = 300

    # 设置中文字体
    plt.rcParams['font.sans-serif'] = ['SimHei']
    # 解决负号显示问题
    plt.rcParams['axes.unicode_minus'] = False

    # 创建图形和坐标轴
    fig, ax = plt.subplots()
    # 生成柱状图的索引
    index = np.arange(len(categories))
    # 柱状图的宽度
    bar_width = 0.35
    # 透明度
    opacity = 0.4

    # 绘制柱状图
    rects = ax.bar(index, amounts, bar_width, alpha=opacity, color='b')

    # 设置坐标轴标签和标题
    ax.set_xlabel('支出分类')
    ax.set_ylabel('支出金额')
    ax.set_title('我的支出')
    # 设置 x 轴刻度标签
    ax.set_xticks(index)
    ax.set_xticklabels(categories)

    # 显示数值
    def autolabel(rects):
        for rect in rects:
            height = rect.get_height()
            ax.annotate('{}'.format(height),
                        xy=(rect.get_x() + rect.get_width() / 2, height),
                        xytext=(0, 3),  # 3 points vertical offset
                        textcoords="offset points",
                        ha='center', va='bottom')

    autolabel(rects)

    # 显示图形
    plt.tight_layout()
    plt.show()

# 调用函数
drawPillar()

6.4.2 饼状图

from matplotlib import pyplot as plt
plt.figure(figsize=(6,9))
# 定义饼状图的标签，标签是列表
labels=['第一部分','第二部分','第三部分']
sizes = [60,30,10]
colors = ['red','yellowgreen','lightskyblue']
explode = (0.05,0,0)
patches,I_text,p_text =plt.pie(sizes,explode=explode,labels=labels,colors=colors,labeldistance = 1.1,autopct = '%3.1f%%',shadow =False, startangle = 90,pctdistance = 0.6)
for t in I_text:
    t.set_size(30)
for t in p_text:
    t.set_size(20)
plt.axis('equal')
plt.legend()
plt.show()
6.4.3 词云图

import jieba
import jieba.analyse as anl
import jieba.posseg as pseg
import json
from collections import Counter
import numpy as np
from PIL import Image
from wordcloud import WordCloud, ImageColorGenerator
from matplotlib.font_manager import FontProperties#中文字体
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties

# 3. 绘制词云
def GetCloud():
    wlist = []
    # 3.1分词
    path_txt = "D:/Python数据分析/二十大公报.txt"
    try:
        f = open(path_txt, 'r', encoding='UTF_8').read()
    except FileNotFoundError:
        print(f"文件 {path_txt} 未找到，请检查文件路径。")
        return
    cut_text = jieba.cut(f)
    # 3.2去掉停用词
    stopwords = ["\n", "", "。", "，", "【", "】", "_", ":", ";", "!", "?", "“", "”", "\u3000"]
    for i in cut_text:
        if i not in stopwords:
            if len(i) > 1:  # 单字的去掉，保留2个及以上的字
                wlist.append(i)
    # 3.3画词云
    path_img = "D:/Python数据分析/背景.jpg"
    try:
        background_image = np.array(Image.open(path_img))
    except FileNotFoundError:
        print(f"图片 {path_img} 未找到，请检查文件路径。")
        return
    listStr = "/".join(wlist)
    # 设置最大显示的字数
    maxWords = 200
    # 补全字体路径，这里以 Windows 系统的宋体为例
    font_path = "C:/Windows/Fonts/simhei.ttf"  # 黑体字体，如果需要其他字体，可以替换路径
    wordcloud = WordCloud(
        # 设置字体，文字的路径是电脑的字体一般路径，可换成别的
        font_path=font_path,
        background_color="white",
        # mask参数=图片背景，必须写上，另外有mask参数在设定宽高是无效的
        mask=background_image,
        max_words=maxWords,  # 设置最大显示的字数
        max_font_size=50,  # 设置字体最大值
        random_state=30,  # 设置有多少种随机生成状态，即有多少种配色方案
        margin=2
    ).generate(listStr)
    # 生成颜色
    image_colors = ImageColorGenerator(background_image)
    # 下面代码表示显示图片
    plt.imshow(wordcloud.recolor(color_func=image_colors), interpolation="bilinear")
    plt.axis("off")
    plt.show()
# 调用函数
GetCloud()

6.4.4 统计人名并保存txt功能

#按词性统计人名
def wordscutper(santi words with attr):
#获取过滤掉 stop _attr里的词性的词后的分词列表，不过正确率堪忧
    pername =[x[0] for x in santi_ words with_attr if x[1]=="nr"]
#把一个人的不同称谓统一一下
for i p in enumerate(pername):
    if p=="玄德"orp=="刘备"orp=="刘玄德":
        permame[i]="刘备"
    if p=="关羽"or p=="云长" or p=="关公" or p=="关将军":
        pername[ij]="关羽"
    if p=="曹操" or p=="丞相" or p=="孟德":
        permame[i]="曹操"
    if p=="诸葛亮"or p=="孔明" or p=="武侯":
        pername[i]="诸葛亮"
    c=Counter(pername).most._common(20)
    with open('sanguoper.txt','w+') as f:
    f write('{0},{1}\n'.format(x[0],x[1]))

6.4.5 按词性统计地名
def wordscutplace(santi_ words with attr):
    placename =[x[0] for x in santi words_with_ attr if x[1]=="ns"]
    c =Counter(placename).most_common(20)
    with open('sanguoplace.txt','w+') as f:
        for x in c:
    f write('{0},{1}\n'.format(x[0],x[1])

7. 总结

本程序通过模块化设计实现了一个功能丰富的自然语言处理工具，涵盖了分词、词频统计、词性标注、可视化等功能。通过使用nltk、jieba、matplotlib、wordcloud等库，程序能够高效地处理和分析文本数据。测试结果表明，程序能够准确地完成各项任务，并输出直观的可视化结果。

2401_83196531
关注
python多线程技术（Threading）
smalltorch的博客
04-21 2769
多线程技术可以帮助我们加速python的工作效率。看本文前建议先看python传参这篇文章，有一点小小的知识点需要知道才好理解lock功能哪里的维护共享内存的安全性。没想到这么一个简单的功能写了这么多，看样子貌似写的很详细。
Python中Threading用法详解
01-21
Python的threading模块松散地基于Java的threading模块。但现在线程没有优先级，没有线程组，不能被销毁、停止、暂停、开始和打断。 Java Thread类的静态方法，被移植成了模块方法。 main thread: 运行python程序的线程 daemon thread 守护线程，如果守护线程之外的线程都结束了。守护线程也会结束，并强行终止整个程序。不要在守护进程中进行资源相关操作。会导致资源不能正确的释放。在非守护进程中使用Event。 Thread 类 (group=None, target=None, name=None, args=(), kwargs={}, *
Python多线程
游牧之python学习笔记
07-11 1260
原文：http://blog.csdn.net/lazy_tiger/article/details/3861844 一、Python中的线程使用：   Python中使用线程有两种方式：函数或者用类来包装线程对象。1、 函数式：调用thread模块中的start_new_thr
python中threading的用法
weixin_33949359的博客
07-14 293
摘自：http://blog.chinaunix.net/uid-27571599-id-3484048.html 以及：http://blog.chinaunix.net/uid-11131943-id-2906286.html threading提供了一个比thread模块更高层的API来提供线程的并发性。这些线程并发运行并共享内存。 下面来看threading模块的具...
python语言中threading.Thread类的使用方法
weixin_30256505的博客
04-10 439
1. 编程语言里面的任务和线程是很重要的一个功能。在python里面，线程的创建有两种方式，其一使用Thread类创建 # 导入Python标准库中的Thread模块 from threading import Thread # 创建一个线程 mthread = threading.Thread(target=function_name, args=(function_param...
Python模块学习 ---- threading 多线程控制和处理
热门推荐
06-29 6万+
　　上一篇介绍了thread模块，今天来学习Python中另一个操作线程的模块：threading。threading通过对thread模块进行二次封装，提供了更方便的API来操作线程。今天内容比较多，闲话少说，现在就开始切入正题！threading.Thread　　Thread 是threading模块中最重要的类之一，可以使用它来创建线程。有两种方式来创建线程：一种是通过继承Thr
Python多线程学习教程
03-30
同时，了解GIL（全局解释器锁）在Python中的作用，以及它如何限制了Python多线程在CPU密集型任务上的性能提升，也是深入学习的一部分。 在实际应用中，Python的多线程更适合于I/O密集型任务，因为GIL在多线程处理...
Python多线程学习资料
12-25
一、Python中的线程使用： Python中使用线程有两种方式：函数或者用类来包装线程对象。 1、 函数式：调用thread模块中的start_new_thread()函数来产生新线程。如下例： 复制代码 代码如下: import time import ...
python多线程学习
11-15
Python中的多线程是并发执行任务的一种方式，它允许程序同时处理多个任务，提升程序的效率。在Python中，我们通常使用`threading`模块来实现多线程，而不是`thread`模块，因为`threading`模块提供了更高级别的功能和...
深入学习python多线程与GIL
09-18
在禁用除主核心外的所有CPU核心后，多线程程序的执行时间仅略有减少，这进一步证明了GIL限制了Python多线程并行计算的能力。即使在多核环境下，多线程也无法充分利用所有核心，因为GIL强制所有Python字节码的执行在...
python threading_python中threading模块详解（一）
weixin_39591720的博客
11-26 265
来源 http://blog.chinaunix.net/uid-27571599-id-3484048.htmlthreading提供了一个比thread模块更高层的API来提供线程的并发性。这些线程并发运行并共享内存。下面来看threading模块的具体用法：一、Thread的使用 目标函数可以实例化一个Thread对象，每个Thread对象代表着一个线程，可以通过start()方法，开始运行...
python threading用法_Python中Threading用法详解
weixin_39638929的博客
11-30 470
Python中Threading用法详解
Python多线程threading用法
niedongri的博客
08-01 6984
python多线程threading实例讲解
Python 线程threading
日常博客
11-01 1万+
Python多线程适用于I/O密集型 GIL的全称是Global Interpreter Lock(全局解释器锁)，为了数据安全，GIL保证同一时间只能有一个线程拿到数据。所以，在python中，同时只能执行一个线程。而IO密集型，多线程能够有效提升效率(单线程下有IO操作会进行IO等待，造成不必要的时间浪费，而开启多线程能在线程A等待时，自动切换到线程B，可以不浪费CPU的资源，从而能提升程序执行效率)。所以python多线程对IO密集型代码比较友好。 而CPU密集型(各种循环处理、计算等等)，由于
Python多线程学习(二、线程的同步)
Sam的专栏
02-09 2万+
    假设两个线程对象t1和t2都要对num=0进行增1运算，t1和t2都各对num修改10次，num的最终的结果应该为20。但是由于是多线程访问，有可能出现下面情况：在num=0时，t1取得num=0。系统此时把t1调度为”sleeping”状态，把t2转换为”running”状态，t2页获得num=0。然后t2对得到的值进行加1并赋给num，使得num=1。然后系统又把t2调度为”sleep
Python的threading库的大致使用（细致解释，适合小白）
Poplar_Aries的博客
12-20 1321
Python的threading库的使用（细致解释，适合小白）
python threading 用法
weixin_30747253的博客
03-23 146
python threading 用法 python 多线程传参有点奇怪记录一下 import thread sql1 = 'select 1' sql2 = 'select 2' def run(sql): print sql # 说明 ：target 后面是方法名（不要带参数） 而参数要写在args里面并且要多一个逗号 if ...
Python 基础 (标准库)：threading (基于线程的并行)
最新发布
AbigailQin 的博客
02-28 4083
Python 标准库学习：threading
python 多线程学习
11-08
Python多线程是一种并发编程技术，可以同时执行多个线程，以提高程序的运行效率。在Python中，可以使用`threading...在学习Python多线程时，需要了解其基本原理和常见问题，并根据具体的应用场景来选择是否使用多线程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值