Python+jieba+pandas+自己写的函数，简单实现用多个词典标注文本

最新推荐文章于 2023-06-02 17:00:19 发布
最新推荐文章于 2023-06-02 17:00:19 发布
阅读量747 收藏 11
点赞数
分类专栏： Python 文章标签： python nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Sun_Weiss/article/details/106860370
版权

做文本分析经常需要用词典标注，有时需要用很多个不同的词典做标注，每个词典单独跑一遍 or 每个词典都重新写代码显得很傻，所以我

1. 统一了词典的格式：用excel存储，第一列是关键词，这一列对所有词典都是必需的；后面列是标签（维度划分），可能有1个或多个标签;

2. 写了几个词典标注的函数，适用于：dict0-没有标签的词典；dict1-有一列标签的词典；dict2-有两列标签的词典。一般这几个就够用了，如果有更多的标签列，用相同的模式再写新的函数就行；

3. 每个词典都可以通过调用这几个函数来标注，代码也差不多，只要替换词典名就可以；

这是目前我能想出来的最好方法了，感觉还是有点笨，但还挺好用的，可拓展性也很强。

# -*- coding: utf-8 -*-
"""
Created on Fri Jun 12 10:26:19 2020

@author: weisssun
"""

import jieba
import pandas as pd
import re

#——————————————————————————————————————————————
#读取文件
input_path = r'./input_data/testfile.xlsx'
#原始数据路径
outpath = r'./output_data/testfile结果.xlsx'
#输出数据路径

#input_data = pd.read_excel(input_path, sheet_name = '数据')
input_data = pd.read_excel(input_path)
#读取原始数据，根据需要修改或删除sheet_name

output_data = pd.DataFrame(columns=['序号','原始文本',
                                    '词典零标注结果','词典零命中词数量',
                                    '词典一标注结果','词典一命中词数量','词典一维度', 
                                    #这里最好把词典维度按自己需要的顺序命名好列名，否则出来的标注结果，不同词典会混在一起
                                    '词典二标注结果','词典二命中词数量','词典二维度'])

#——————————————————————————————————————————————
#读取停用词和用户词典

stopw = [line.strip() for line in open(r'./dict/stopwords.txt',encoding='utf-8').readlines()]
#读取停用词词典
jieba.load_userdict(r"./dict/userdict.txt")
#读取用户词典

#——————————————————————————————————————————————
#读取标注词典
zerodict = pd.read_excel(r'./dict/词典零.xlsx')
#词典零，只有一列关键词，没有标签
firstdict = pd.read_excel(r'./dict/词典一.xlsx')
#词典一，有一列关键词，一列标签
seconddict = pd.read_excel(r'./dict/词典二.xlsx')
#词典二，有一列关键词，两列标签

#——————————————————————————————————————————————
####################
#以下是用到的函数的定义

#定义分词函数

def segment(content, filter):

    seg_list = jieba.cut(content)
    #使用jieba分词
    results=[]
    #定义空列表results，将分词并过滤后的词存在results中
    for seg in seg_list:
        seg = re.sub("[\s+\.\!\/_,$%^*(+\"\']+|[+——！，。：“”、~@#￥%……&*（）【】{}？]+", "", seg)
        #过滤标点符号
        if (seg != '' and seg != "\n" and seg != "\n\n"):
            results.append(seg)
            #如果seg不为空值，将过滤后的词增加到words中

    results = [word for word in results if word not in stopw] #去除停用词

    return results


#定义一个字典计数保存的函数

def dict_append(a, dict_a):
    if a not in dict_a.keys():
        dict_a[a] = 1
    else:
        dict_a[a] += 1 
    return dict_a


#定义情绪词典命中函数，将评论内容和词典作为参数传入
#根据词典的标签数量，调用对应的函数
    
def the_dict0(results, the_dict): 
#仅有关键词一列的词典

    word_num = 0
    #关键词数量
    word_info_list = []
    #保存关键词命中结果列表

    for word in results: 
        #对分词结果中的每一个词
        word_index = the_dict.loc[the_dict[the_dict.columns[0]] == word].index
        #定位这个词在词典中的位置，获取索引
        
        if any(word_index != None):
            #如果索引不为空
            theword = word
            #这个词是关键词
            word_num += 1
            #关键词数 +1
            word_info = theword + ';'
            #将命中的关键词保存起来
            word_info_list.append(word_info) 
            #添加到关键词命中结果列表中
    
    return word_num, word_info_list
    #返回关键词词数量、关键词命中结果列表


def the_dict1(results, the_dict):
#有一列关键词，一列标签的词典
    
    word_num = 0
    #关键词数量
    label1_dict = {}
    #标签1及数量的字典
    word_info_list = []
    #保存关键词命中结果列表

    for word in results: 
        #对分词结果中的每一个词
        word_index = the_dict.loc[the_dict[the_dict.columns[0]] == word].index
        #定位这个词在词典中的位置，获取索引
        
        if any(word_index != None):
            #如果索引不为空
            theword = word
            #这个词是关键词
            word_num += 1
            #关键词数 +1
            
            word_label1 = the_dict.loc[word_index, the_dict.columns[1]].values
            word_label1 = ''.join(word_label1)
            #关键词的标签1，是索引行，标签1列的单元格值
            #将 numpy.ndarray对象转化为字符串
            label1_dict = dict_append(word_label1, label1_dict)
            #调用 dict_append函数，将标签1和数量保存为字典
            
            word_info = theword + '：' + word_label1 + ';'
            #将命中的关键词、关键词的标签1保存起来
            word_info_list.append(word_info) 
            #添加到关键词命中结果列表中
        
    return word_num, label1_dict, word_info_list
    #返回关键词词数量、标签1数量词典、关键词命中结果列表


def the_dict2(results, the_dict): 
#有一列关键词，两列标签的词典

    word_num = 0
    #关键词数量
    label1_dict = {}
    #标签1及数量的字典
    label2_dict = {}
    #标签2及数量的字典
    word_info_list = []
    #保存关键词命中结果列表

    for word in results: 
        #对分词结果中的每一个词
        word_index = the_dict.loc[the_dict[the_dict.columns[0]] == word].index
        #定位这个词在词典中的位置，获取索引
        
        if any(word_index != None):
            #如果索引不为空
            theword = word
            #这个词是关键词
            word_num += 1
            #关键词数 +1
            
            word_label1 = the_dict.loc[word_index, the_dict.columns[1]].values
            word_label1 = ''.join(word_label1)
            #关键词的标签1，是索引行，标签1列的单元格值
            #将 numpy.ndarray对象转化为字符串
            label1_dict = dict_append(word_label1, label1_dict)
            #调用 dict_append函数，将标签1和数量保存为字典
            
            word_label2 = the_dict.loc[word_index, the_dict.columns[2]].values
            word_label2 = ''.join(word_label2)
            #关键词的标签2，是索引行，标签1列的单元格值
            #将 numpy.ndarray对象转化为字符串
            label2_dict = dict_append(word_label2, label2_dict)
            #调用 dict_append函数，将标签1和数量保存为字典
            
            word_info = theword + '：' + word_label1 + '-' + word_label2 + ';'
            #将命中的关键词、关键词的标签1保存起来
            word_info_list.append(word_info) 
            #添加到关键词命中结果列表中
    
    return word_num, label1_dict, label2_dict, word_info_list
    #返回关键词词数量、标签1数量词典、标签2数量词典、关键词命中结果列表   

#——————————————————————————————————————————————
    
#读取数据并处理

contents_num = len(input_data)
for i in range(contents_num):
    order_id = input_data.loc[i, '序号']
    #读取原始序号
    content = str(input_data.loc[i, '原始文本'])
    #读取原始文本
    output_data.loc[i, '序号'] = order_id
    #保存序号
    output_data.loc[i, '原始文本'] = content
    #保存原始文本
    
    results = segment(content, 0)
    #将原始文本分词

    zerodict_word_num, zerodict_word_info_list = the_dict0(results, zerodict)
    #调用函数dict0，用词典零标注分词结果
    output_data.loc[i, '词典零标注结果'] = ' '.join(zerodict_word_info_list)
    #保存词典标注结果
    output_data.loc[i, '词典零命中词数量'] = zerodict_word_num
    #保存标注词的数量
    
    firstdict_word_num, firstdict_label1_dict, firstdict_word_info_list = the_dict1(results, firstdict)
    #调用函数dict1，用词典一标注分词结果
    output_data.loc[i, '词典一标注结果'] = ' '.join(firstdict_word_info_list)
    output_data.loc[i, '词典一命中词数量'] = firstdict_word_num
    for k, v in firstdict_label1_dict.items():
        output_data.loc[i, k] = v
        #保存不同维度的标注数量

    seconddict_word_num, seconddict_label1_dict, seconddict_label2_dict, seconddict_word_info_list = the_dict2(results, seconddict)
    #调用函数dict2，用词典二标注分词结果
    output_data.loc[i, '词典二标注结果'] = ' '.join(seconddict_word_info_list)
    output_data.loc[i, '词典二命中词数量'] = seconddict_word_num
    for k, v in seconddict_label1_dict.items():
        output_data.loc[i, k] = v
    for k, v in seconddict_label2_dict.items():
        output_data.loc[i, k] = v

#——————————————————————————————————————————————
#保存结果  
output_data.to_excel(outpath)

 

Sun_Weiss
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python读取文件，jieba分词，posseg标注词性，并写入文件，代码实战
青风learing
04-26 1万+
先列出代码如下 # -*- encoding=utf-8 -*- # 定义编码格式 import jieba.analyse import jieba.posseg import jieba import pandas as pd # 载入自定义词典 jieba.load_userdict('dict.txt') # 载入自定义停止词 jieba.analyse.set_stop_words(...
jieba词典_结巴分词2--基于前缀词典及动态规划实现分词
weixin_39859819的博客
12-03 190
1 简介jieba分词主要是基于统计词典，构造一个前缀词典；然后利用前缀词典对输入句子进行切分，得到所有的切分可能，根据切分位置，构造一个有向无环图；通过动态规划算法，计算得到最大概率路径，也就得到了最终的切分形式。2 实例讲解以“去北京大学玩”为例，作为待分词的输入文本。离线统计的词典形式如下，每一行有三列，第一列是词，第二列是词频，第三列是词性。 ... 北京大学 2053 nt...
jieba及pandas库的使用
ahaahaahaaha_的博客
06-02 386
1. 读取“stockdata.xlsx”文件，统计每个上市企业出现的频数，同时计算各个企业的频率（频数/总样本数），以“股票代码：词频”的方式呈现，并将统计结果写进文件（code.csv）储存。（a2.xlsx）,要求表汇报企业的股票代码，年份，所有权、行业代码、短期负债，长期负债、资产负债率变量。要求：季度数据处理成年度数据时候使用均值法；2. 读取“stockdata.xlsx”文件，将企业短期负债和长期负债数据清洗成。
pandas中关键词提取，jieba，情感分析,jiagu,snownlp等方法
dair6的博客
11-19 4366
pandas中关键词提取，jieba，情感分析,jiagu,snownlp等方法 1.jieba分词的使用 (1)安装 pip install jieba (2)jieba.cut—将文本切分成词语，分词 jieba.cut返回的是一个可迭代的生成器generator,所以能够和for循环一起使用 sentence = '维生素含叶酸' for word in jieba.cut(sentence): print(word) 输出： Building prefix dic
使用 Spark ML + Jieba + Pandas 实现一个疾病智能诊功能（Python）
IT小村
11-13 2536
一、前言 电子病历，很多市中心医院都在使用，却很少有人将其中的数据用于机器学习，以达到智能诊断的功能 本文对此做了一个实战案例。 二、可行性分析 1、功能介绍： 用户输入个人身体特征的信息，机器返回最可能的得出的疾病类型及其可能性 %。 2、分析： ① 用户输入个人病症时，为一段 中文 字符串 ② 首先要进行做特征处理，即将文字进行分词（英文则可以直接跳过！）， ③ 打上标签 label，进行 S...
使用jieba加载自定义词典对语料进行BIO词性标注。
wangxiao1024的博客
11-25 3807
本文章只提供大致思路，至于结巴的具体使用，和其他相关知识不做阐述 标注前的装备工作： (1):：已经预处理过的需要分词的语料（需要分词的语料要符合结巴分词的要求，每句一行，并且以句号做结尾） （2）：一份手动标注好的自定义词典（包含词性），如下 进行词性标注处理： 具体代码如下： import codecs import jieba.posseg as ps import jieba infile...
python 3.X 使用jieba.wordcloud.pandas等库分析小说后生成云图和柱状图
Voccoo的博客
08-31 1061
本篇文章，主要是使用jieba分词，对文章分析后，将常用词去掉，进行图表的展示。 在写这个demo的过程中，踩到的坑。 1：读取txt文件的时候，文件编码和读取编码不同，导致读取报错 2：读取的数据会带有\n和空格，最好在读取停止词后，先打印出来，查看下是不是每个词都没有其他的制表符存在 3：停止词要生成list集合才可使用，最好不要直接list（）转化，容易出错 4：生成云图的时候，在...
jieba——分词、添加词典、词性标注、Tokenize
Atishoo_13的博客
01-16 1万+
jieba——分词、添加词典、词性标注、Tokenize 1.分词 jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型 jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细 待分词的字符串可以是 ...
[Pandas] 将一列杂乱数值按区间打标签
Hudas的博客
06-05 1289
本文主要讲解利用Pandas将一列杂乱数值按区间打标签的技巧知识
python 之 jieba库（中文分词）
你好，时光
01-13 830
中文文本需要通过分词获得单个的词语 jieba是优秀的中文分词第三方库，需要额外安装 jieba库提供三种分词模式，最简单只需掌握一个函数 jieba.lcut(“中国是一个伟大的国家”) [‘中国’, ‘是’, ‘一个’, ‘伟大’, ‘的’, ‘国家’] (cmd命令行) pip install jieba ...
Python Jieba中文分词工具实现分词功能
03-10
Python Jieba中文分词工具实现分词功能，Python Jieba中文分词工具实现分词功能
手把手教你用Pandas库对淘宝原始数据进行数据处理和分词处理
pdcfighting的博客
08-23 642
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤白头搔更短，浑欲不胜簪。大家好，我是Python进阶者。一、前言大...
Pandas结合Jieba提取xlsx表格文件高频词汇
Aey20的专栏
07-03 3471
import pandas as pd import jieba.analyse def sort_key(keylist): ''' 高频关键词排序 :param keylist: 关键词列表 :return: ''' percentage_number = int(keylist.count()*percentage) keyword_st
利用pyecharts的wordcloud实现词云（可结合Pandas数据分析和jieba分词）
Cheny1m的博客
11-17 2784
pyecharts的wordcloud使用 1.主文件 WordCut.py # 导入jieba分词，可用于文章分词 import jieba # 导入collection模块的Counter方法，对分完词后的词进行频数统计 from collections import Counter # 导入wordCloud及配置模块,利用pyecharts绘制词云WordCloud，当然你也也可以安装WordCloud库进行词云绘制 from pyecharts import options as opts fro
python 结巴分词中 按行读取 csv中的文件 并将分词存储到csv中
jiasudu1234的博客
04-11 2万+
#coding='utf-8'impo#coding='utf-8' import csv import jieba import pandas as pd 分词存储后 如上图，数据格式，我们对上述数据的每一行进行分词，分词后如下表格式 python语言如下 file_object2=open('D:\A仲敏2015\python_code\\advice.csv').r
python安装第三方库成功如jieba,pandas，matplotlib但pycharm报错No module named ***如matplotlib
shangxianjiao的博客
11-20 8954
一，检查jieba是否安装成功 cmd命令如下 C:>python 再输入import jieba 没有报错，说明安装成功 二，查看已安装库 pip list 或pip freeze 三，进入pycharm Files→Settings→Project Interpreter→右侧列表栏，点击“+”符号→搜索jieba或Pandas，安装并应用 点击左下角的这个按钮 耐心等待几分钟，完...
中文分词：python-jieba-安装及使用样例
夏尔的小木屋
02-04 1万+
前言（关于分词） 最开始知道jieba是（为了完成Data Mining课程作业）在收集新闻文本分类的资料的时候：新闻上的文本分类。通过传统的机器学习方法和深度学习方法来做新闻短文本分类，并对这些方法进行对比。 同时收集到的其他资料还有： Weka初体验——中文文本分类数据挖掘 文本分类（一） 综述 在数据挖掘 文本分类（一） 综述中，知道了另一个分析工具：中科院张华平
Python jieba 中文分词与词频统计
热门推荐
onestab
10-22 2万+
#! python3 # -*- coding: utf-8 -*- import os, codecs import jieba from collections import Counter def get_words(txt): seg_list = jieba.cut(txt) c = Counter() for x in seg_list: if
Python分词并进行词频统计
data_scientist的博客
01-23 1万+
strs='1、大专以上学历，年龄在18-28岁之间；2、计算机相关专业、自动化、测控、生仪、机电、数学、物理等等理工科专业优先；' \ '3、热爱软件开发事业、有较强的逻辑思维能力，对IT行业抱有浓厚的兴趣并有志于在IT行业长远发展，创造个人价值（非销售、非保险岗位）；4、有无相关经验均可，欢迎优秀的应届大学毕业生' \ '5、渴望能有一项扎实的技术、获得一份有长远发展、稳定、
python+jieba如何计算excel中同一列文字的相似度，并且标注相似度大于0.75的单元格
最新发布
06-12
要计算Excel中同一列文字的相似度，可以使用Python中的jieba库和gensim库进行文本预处理和相似度计算。以下是一个使用jieba和gensim库的示例代码： ```python import pandas as pd import jieba from gensim import corpora, models, similarities # 读取Excel表格数据 df = pd.read_excel('example.xlsx') # 使用jieba进行分词，并去除停用词 stop_words = set(['的', '了', '是', '我', '你', '他', '她']) texts = [] for text in df['text']: words = [word for word in jieba.cut(text) if word not in stop_words] texts.append(words) # 构建词典和文档向量 dictionary = corpora.Dictionary(texts) corpus = [dictionary.doc2bow(text) for text in texts] # 计算TF-IDF特征向量 tfidf = models.TfidfModel(corpus) corpus_tfidf = tfidf[corpus] # 计算相似度 index = similarities.MatrixSimilarity(corpus_tfidf) similarity_matrix = index[corpus_tfidf] # 标注相似度大于0.75的单元格 for i in range(similarity_matrix.shape[0]): for j in range(i+1, similarity_matrix.shape[1]): if similarity_matrix[i,j] > 0.75: df.at[i, 'text'] = str(df.at[i, 'text']) + ' (' + str(round(similarity_matrix[i,j], 2)) + ')' df.at[j, 'text'] = str(df.at[j, 'text']) + ' (' + str(round(similarity_matrix[i,j], 2)) + ')' # 保存结果到Excel表格 df.to_excel('example_similarity.xlsx', index=False) ``` 这个代码中，首先使用pandas库读取Excel表格数据。然后使用jieba库对文本进行分词，并去除停用词。接着使用gensim库构建词典和文档向量，并计算TF-IDF特征向量。最后，使用gensim库计算相似度矩阵，并在相似度大于0.75的单元格中标注相似度值。最后将结果保存到新的Excel表格中。 需要注意的是，这个代码中只是一个简单的示例，实际上文本相似度计算是一个比较复杂的问题，需要针对具体的数据和实际情况进行调整和优化。另外，jieba库和gensim库都有一些可调参数，可以根据实际情况进行调整，以达到更好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值