cntext：一款 Python文本分析包

最新推荐文章于 2024-09-03 08:36:04 发布
最新推荐文章于 2024-09-03 08:36:04 发布
阅读量7.6k 收藏 69
点赞数 8
分类专栏： python 文章标签： python 文本分析工具包 cntext 情感分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38037405/article/details/124214317
版权

cntext中文文本分析库，可对文本进行词频统计、词典扩充、情绪分析、相似度、可读性等

功能模块含

  • [x] stats 文本统计指标

  • [x] 词频统计

  • [x] 可读性

  • [x] 内置pkl词典

  • [x] 情感分析

  • [x] dictionary 构建词表(典)

  • [x] Sopmi 互信息扩充词典法

  • [x] W2Vmodels 词向量扩充词典法

  • [x] similarity 文本相似度

  • [x] cos相似度

  • [x] jaccard相似度

  • [x] 编辑距离相似度

  • [ ] bias 待开发

喜欢记得收藏、关注、点赞。

⚠️ 【注】资料、代码、交流，文末获取

安装

pip install cntext==1.6

QuickStart

import cntext as ct

help(ct)

Run

Help on package cntext:

NAME
    cntext

PACKAGE CONTENTS
    bias
    dictionary
    similarity
    stats

一、stats

目前stats内置的函数有

  • readability 文本可读性

  • term_freq 词频统计函数

  • dict_pkl_list 获取cntext内置词典列表(pkl格式)

  • load_pkl_dict 导入pkl词典文件

  • diction 情感分析

import cntext as ct

text = '如何看待一网文作者被黑客大佬盗号改文，因万分惭愧而停更。'

ct.term_freq(text)

Run

Counter({'看待': 1,
         '网文': 1,
         '作者': 1,
         '黑客': 1,
         '大佬': 1,
         '盗号': 1,
         '改文因': 1,
         '万分': 1,
         '惭愧': 1,
         '停': 1})

1.1 readability

文本可读性，指标越大，文章复杂度越高，可读性越差。

readability(text, language=‘chinese’)

  • text: 文本字符串数据

  • language: 语言类型，“chinese"或"english”，默认"chinese"

中文可读性 算法参考自

徐巍,姚振晔,陈冬华.中文年报可读性：衡量与检验[J].会计研究,2021(03):28-44.

  • readability1 —每个分句中的平均字数

  • readability2 —每个句子中副词和连词所占的比例

  • readability3 —参考Fog Index， readability3=(readability1+readability2)×0.5

以上三个指标越大，都说明文本的复杂程度越高，可读性越差。

import cntext as ct

text = '如何看待一网文作者被黑客大佬盗号改文，因万分惭愧而停更。'

ct.readability(text, language='chinese')

Run

{'readability1': 13.5,
 'readability2': 0.08333333333333333,
 'readability3': 6.791666666666667}

1.2 term_freq

词频统计函数，返回Counter类型

import cntext as ct 

text = '如何看待一网文作者被黑客大佬盗号改文，因万分惭愧而停更。'

ct.term_freq(text)

Run

Counter({'看待': 1,
         '网文': 1,
         '作者': 1,
         '黑客': 1,
         '大佬': 1,
         '盗号': 1,
         '改文因': 1,
         '万分': 1,
         '惭愧': 1,
         '停': 1})

1.3 dict_pkl_list

获取cntext内置词典列表(pkl格式)

import cntext as ct

# 获取cntext内置词典列表(pkl格式)
ct.dict_pkl_list()

Run

['DUTIR.pkl',
 'HOWNET.pkl',
 'sentiws.pkl',
 'ChineseFinancialFormalUnformalSentiment.pkl',
 'ANEW.pkl',
 'LSD2015.pkl',
 'NRC.pkl',
 'geninqposneg.pkl',
 'HuLiu.pkl',
 'AFINN.pkl',
 'ADV_CONJ.pkl',
 'LoughranMcDonald.pkl',
 'STOPWORDS.pkl']

词典对应关系, 部分情感词典资料整理自 quanteda.sentiment

pkl文件词典语言功能
DUTIR.pkl大连理工大学情感本体库中文七大类情绪，哀, 好, 惊, 惧, 乐, 怒, 恶
HOWNET.pkl知网Hownet词典中文正面词、负面词
sentiws.pklSentimentWortschatz (SentiWS)英文正面词、负面词；
效价
ChineseFinancialFormalUnformalSentiment.pkl金融领域正式、非正式；积极消极中文formal-pos、

formal-neg；
unformal-pos、
unformal-neg |
| ANEW.pkl | 英语单词的情感规范Affective Norms for English Words (ANEW) | 英文 | 词语效价信息 |
| LSD2015.pkl | Lexicoder Sentiment Dictionary (2015) | 英文 | 正面词、负面词 |
| NRC.pkl | NRC Word-Emotion Association Lexicon | 英文 | 细粒度情绪词； |
| geninqposneg.pkl |
|
|
|
| HuLiu.pkl | Hu&Liu (2004)正、负情感词典 | 英文 | 正面词、负面词 |
| AFINN.pkl | 尼尔森 (2011) 的“新 ANEW”效价词表 | 英文 | 情感效价信息valence |
| LoughranMcDonald.pkl | 会计金融LM词典 | 英文 | 金融领域正、负面情感词 |
| ADV_CONJ.pkl | 副词连词 | 中文 |
|
| STOPWORDS.pkl |
| 中、英 | 停用词 |

注意:

  • 如果用户情绪分析时使用DUTIR词典发表论文，请在论文中添加诸如“使用了大连理工大学信息检索研究室的情感词汇本体” 字样加以声明。参考文献中加入引文“徐琳宏,林鸿飞,潘宇,等.情感词汇本体的构造[J]. 情报学报, 2008, 27(2): 180-185.”

  • 如果大家有制作的词典，可以上传至百度网盘，并在issue中留下词典的网盘链接。如词典需要使用声明，可连同文献出处一起issue

1.4 load_pkl_dict

导入pkl词典文件，返回字典样式数据。

import cntext as ct

# 导入pkl词典文件,
print(ct.load_pkl_dict('DUTIR.pkl'))

Run

{'DUTIR': {'哀': ['怀想', '治丝而棼', ...],
           '好': ['进贤黜奸', '清醇', '放达', ...], 
           '惊': ['惊奇不已', '魂惊魄惕', '海外奇谈',...],
           '惧': ['忸忸怩怩', '谈虎色变', '手忙脚乱', '刿目怵心',...],
           '乐': ['百龄眉寿', '娱心', '如意', '喜糖',...],
           '怒': ['饮恨吞声', '扬眉瞬目',...],
           '恶': ['出逃', '鱼肉百姓', '移天易日',]
           }

1.5 sentiment

sentiment(text, diction, language=‘chinese’) 使用diy词典进行情感分析，计算各个情绪词出现次数; 未考虑强度副词、否定词对情感的复杂影响，

  • text: 待分析中文文本

  • diction: 情感词字典；

  • language: 语言类型，“chinese"或"english”，默认"chinese"

import cntext as ct

text = '我今天得奖了，很高兴，我要将快乐分享大家。'

ct.sentiment(text=text,
             diction=ct.load_pkl_dict('DUTIR.pkl')['DUTIR'])

Run

{'哀_num': 0,
 '好_num': 0,
 '惊_num': 0,
 '惧_num': 0,
 '乐_num': 3,
 '怒_num': 0,
 '恶_num': 0,
 'stopword_num': 7,
 'sentence_num': 1,
 'word_num': 13}

如果不适用pkl词典，可以自定义自己的词典，例如

import cntext as ct

diction = {'pos': ['高兴', '快乐', '分享'],
              'neg': ['难过', '悲伤'],
              'adv': ['很', '特别']}

text = '我今天得奖了，很高兴，我要将快乐分享大家。'
ct.sentiment(text, diction)

Run

{'pos_num': 7,
 'neg_num': 0,
 'adv_num': 1,
 'stopword_num': 7,
 'sentence_num': 1,
 'word_num': 13}

二、dictionary

本模块用于构建词表(典),含

  • SoPmi 共现法扩充词表(典)

  • W2VModels 词向量word2vec扩充词表(典)

2.1 SoPmi 共现法

import cntext as ct
import os

sopmier = ct.SoPmi(cwd=os.getcwd(),
                   input_txt_file='data/sopmi_corpus.txt',  #原始数据，您的语料
                   seedword_txt_file='data/sopmi_seed_words.txt', #人工标注的初始种子词
                   )   

sopmier.sopmi()

Run

Step 1/4:...预处理   语料 ...
Loading model cost 0.543 seconds.
Prefix dict has been built successfully.
Step 2/4:...收集 共现词线索 ...
Step 3/4:...计算    互信息 ...
Step 4/4:...保存    候选词 ...
完成! 耗时 49.50996398925781 s

2.2 W2VModels 词向量

特别要注意代码需要设定lang语言参数

import cntext as ct
import os

#初始化模型,需要设置lang参数。
model = ct.W2VModels(cwd=os.getcwd(), 
                     lang='english')  #语料数据 w2v_corpus.txt
model.train(input_txt_file='data/w2v_corpus.txt')


#根据种子词，筛选出没类词最相近的前100个词
model.find(seedword_txt_file='data/w2v_seeds/integrity.txt', 
           topn=100)
model.find(seedword_txt_file='data/w2v_seeds/innovation.txt', 
           topn=100)
model.find(seedword_txt_file='data/w2v_seeds/quality.txt', 
           topn=100)
model.find(seedword_txt_file='data/w2v_seeds/respect.txt', 
           topn=100)
model.find(seedword_txt_file='data/w2v_seeds/teamwork.txt', 
           topn=100)

Run

Step 1/4:...预处理    语料 ...
Step 2/4:...训练   word2vec模型 ...
Step 3/4:...准备 每个seed在word2vec模型中的相似候选词...
Step 4/4 完成! 耗时 60 s



Step 3/4:...准备 每个seed在word2vec模型中的相似候选词...
Step 4/4 完成! 耗时 60 s



Step 3/4:...准备 每个seed在word2vec模型中的相似候选词...
Step 4/4 完成! 耗时 60 s



Step 3/4:...准备 每个seed在word2vec模型中的相似候选词...
Step 4/4 完成! 耗时 60 s



Step 3/4:...准备 每个seed在word2vec模型中的相似候选词...
Step 4/4 完成! 耗时 60 s

需要注意

训练出的w2v模型可以后续中使用。

from gensim.models import KeyedVectors

w2v_model = KeyedVectors.load(w2v.model路径)
#找出word的词向量
#w2v_model.get_vector(word)
#更多w2_model方法查看
#help(w2_model)

2.3 co_occurrence_matrix

词共现矩阵

import cntext as ct

documents = ["I go to school every day by bus .",
         "i go to theatre every night by bus"]

ct.co_occurrence_matrix(documents, 
                        window_size=2, 
                        lang='english')

图片

documents2 = ["编程很好玩",
             "Python是最好学的编程"]

ct.co_occurrence_matrix(documents2, 
                        window_size=2, 
                        lang='chinese')

图片

三、similarity

四种相似度计算函数

  • cosine_sim(text1, text2) cos余弦相似

  • jaccard_sim(text1, text2) jaccard相似

  • minedit_sim(text1, text2) 最小编辑距离相似度；

  • simple_sim(text1, text2) 更改变动算法

算法实现参考自 Cohen, Lauren, Christopher Malloy, and Quoc Nguyen. Lazy prices. No. w25084. National Bureau of Economic Research, 2018.

import cntext as ct


text1 = '编程真好玩编程真好玩'
text2 = '游戏真好玩编程真好玩'

print(ct.cosine_sim(text1, text2))
print(ct.jaccard_sim(text1, text2))
print(ct.minedit_sim(text1, text2))
print(ct.simple_sim(text1, text2))

Run

0.9999999999999998
1.0
1
0.84375

推荐文章

技术交流

欢迎转载、收藏、有所收获点赞支持一下！

在这里插入图片描述

目前开通了技术交流群，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友

  • 方式①、发送如下图片至微信，长按识别，后台回复：加群；
  • 方式②、添加微信号：dkl88191，备注：来自CSDN
  • 方式③、微信搜索公众号：Python学习与数据挖掘，后台回复：加群

长按关注

我爱Python数据挖掘
关注
专栏目录
【科学文献计量】中英文文献标题及摘要可读性指标分析与可视化
lys_828的博客
07-16 933
1. 文本可读性指标原理以及计算流程; 2.中文文献标题及摘要可读性指标分析与可视化; (a) 按照各指标的均值进行分析 (b) 考虑全部的数据，按照指标readability3作为代表进行分析) 3.外文文献标题及摘要可读性指标分析与可视化; ...
探秘CN-Text-Classifier：一款高效中文文本分类利器
gitblog_00034的博客
04-01 811
探秘CN-Text-Classifier：一款高效中文文本分类利器 去发现同类优质开源项目:https://gitcode.com/ 在大数据和人工智能的时代，文本分类已成为自然语言处理领域的基础任务之一。今天，我们将深入探讨一个名为CN-Text-Classifier的开源项目，它由FesonX开发并维护，专注于中文文本分类。借助这个工具，开发者可以轻松地实现各种复杂的文本分类任务。 项目简介 ...
python文本分析与处理
01-25
python文本分析与处理，比较轻量级的资源文件。 python文本分析与处理，比较轻量级的资源文件。
推荐文章：让中文字符串“说”出口语——深度探索cn-text-normalizer项目
最新发布
gitblog_00503的博客
09-03 379
推荐文章：让中文字符串“说”出口语——深度探索cn-text-normalizer项目 cn-text-normalizerA python module that convert chinese written string to read string. 一个python包：将中文书面字符串转换为口语字符串。项目地址:https://gitcode.com/gh_mirrors/cn/cn-...
Go语言标准库之context
weixin_30390075的博客
07-09 266
Go标准库Context 在 Go http包的Server中，每一个请求在都有一个对应的 goroutine 去处理。请求处理函数通常会启动额外的 goroutine 用来访问后端服务，比如数据库和RPC服务。用来处理一个请求的 goroutine 通常需要访问一些与请求特定的数据，比如终端用户的身份认证信息、验证相关的token、请求的截止时间。 当一个请求被取消或超时时，所有用来...
python 文本分析
DataCastle
12-17 9010
自从认识了python这门语言，所有的事情好像变得容易了，作为小白，逗汁儿今天就为大家总结一下python的文本处理的一些小方法。 话不多说，代码撸起来。 ——python大小写字符互换 在进行大小写互换时，常用到的方法有4种，upper（）、lower（）、capitalize() 和title（）。 str = "www.dataCASTLE.com" print(str.upper...
python之context(上下文管理器)
weixin_45912307的博客
04-06 3106
# -- encoding: utf-8 -- # @time: 2021/4/5 22:48 # @Author: jsonLiu # @Email: 810030709@qq.com # @file: 19contextmanager # with后面跟的是一个上下文管理器对象 import logging import os class CustomOpen(object): def __init__(self, file_nam...
Python-ConText(上下文)学习
weixin_44337404的博客
10-15 1151
Python-Context(上下文) 用途：用于被管理器管理的类，获取其他被管理的类的数据以及方法。 例如 // import weakref class Context(): def __init__(self): self.Mgr = Mgr(self) self.Mgr.setClass1func() def getMgr(self)//获取类管理器 return self.Mgr class Mgr() def __init__(self, Context)
【python文本分析】——基于股评文本的情绪分析
热门推荐
weixin_47974364的博客
04-01 1万+
目录一、文本处理1、精确模式（默认）2、全模式3、搜索引擎模式二、词云图1、wordcloud模块导入2、词云图实现三、实例——利用股评进行情绪分析1、数据来源及snownlp模块导入2、代码实现3、结果分析 一、文本处理 中文分词是中文文本处理的一个基础步骤。jieba分词工具是最常见的语言分词工具： import jieba import jieba.posseg as psg from collections import Counter jieba分词中有三种分词模式，不同的分词模式将直接影响分词
cnsenti:中文情感分析库(Chinese Sentiment))可对文本进行情绪分析、正负情感分析
04-29
中文情感分析库(Chinese Sentiment))可对文本进行情绪分析、正负情感分析。 https://github.com/thunderhit/cnsenti https://pypi.org/project/cnsenti/ 特性 情感分析默认使用的知网Hownet 情感分析可支持导入...
【科学文献计量】中英文文献标题及摘要用词情感分析与可视化
lys_828的博客
09-29 804
1 文本词典准备 2 文本数据用词情感分析步骤 3 针对英文文献数据进行用词情感分析 4 针对中文文献数据进行用词情感分析 5 中英文献文摘要句数统计分析 6 英文文献数据情感效价
Python实现购物评论文本情感分析操作【基于中文文本挖掘库snownlp】
01-20
本文实例讲述了Python实现购物评论文本情感分析操作。分享给大家供大家参考，具体如下： 昨晚上发现了snownlp这个库，很开心。先说说我开心的原因。我本科毕业设计做的是文本挖掘，用R语言做的，发现R语言对文本处理特别不友好，没有很多强大的库，特别是针对中文文本的，加上那时候还没有学机器学习算法。所以很头疼，后来不得已用了一个可视化的软件RostCM，但是一般可视化软件最大的缺点是无法调参，很死板，准确率并不高。现在研一，机器学习算法学完以后，又想起来要继续学习文本挖掘了。所以前半个月开始了用python进行文本挖掘的学习，很多人都推荐我从《python自然语言处理》这本书入门，学习了半个月
python不支持_python版本不兼容怎么解决
weixin_39757893的博客
11-27 1930
由于历史原因，Python有两个大的版本分支，Python2和Python3，又由于一些库只支持某个版本分支，所以需要在电脑上同时安装Python2和Python3，因此如何让两个版本的Python兼容，如何让脚本在对应的Python版本上运行，这个是值得总结的。对于Ubuntu 16.04 LTS版本来说，Python2（2.7.12）和Python3（3.5.2）默认同时安装，默认的pytho...
Go的context库(包)
weixin_44718747的博客
01-08 344
一、问题的提出： 在 Go http包的Server中，也就是在go的http服务器中，对每一个请求request都会有一个对应的 goroutine 去处理该请求，而且对应的请求处理函数在处理该请求时有可能又会启动新的的 goroutine 用来访问一些后端服务：比如数据库和RPC服务。 而且用来处理同一个请求request的 各goroutine间 通常都需要访问与该request相关的数据，比如终端用户的身份认证信息、验证相关的token、请求的截止时间，那么如何方便的在这些goroutine间（也就
python中文处理库_基于Python语言的中文文本处理研究
weixin_33957382的博客
12-30 266
基于Python语言的中文文本处理研究温珍【期刊名称】《南昌工程学院学报》【年(卷),期】2018(037)003【摘要】Withthepopularityofcomputertechnology,textprocessingbasedonmachinelanguagearewidelyusedinvariousfields.Howtocombinetheadvantagesofstatistic...
python中文处理库_SnowNLP-Python中文文本处理库
weixin_42527589的博客
12-30 988
SnowNLP：一个处理中文文本的 Python 类库简介SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。注意本程序都是处理的unicode编码，所以使...
go实战学习——context包学习理解笔记
weixin_44336181的博客
08-12 1170
学习golang时，在看一下项目的源码过程中，总会发现context包被频繁的调用，为啥调用，一脸懵逼。通过对context使用进行详细的学习后整理笔记出来。
CN.Text开发笔记—利用反射将数据读入实体类
weixin_34405557的博客
09-12 74
在实际开发中，我们经常需要从数据库中读取数据并赋值给实体类的相应属性。在.Text的DataDTOProvider中存在大量这样的代码, 比如: public Role[] GetRoles(int BlogID)         {             System.Collections.ArrayList al=new System.Collections....
开源项目推荐：CN-Text-Normalizer - 汉语文本规范化工具
gitblog_00077的博客
03-31 484
开源项目推荐：CN-Text-Normalizer - 汉语文本规范化工具 cn-text-normalizerA python module that convert chinese written string to read string. 一个python包：将中文书面字符串转换为口语字符串。项目地址:https://gitcode.com/gh_mirrors/cn/cn-text-n...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值