基于Python的中文分词词性标注词频统计的实现

最新推荐文章于 2023-09-20 09:48:06 发布
VIP文章 最新推荐文章于 2023-09-20 09:48:06 发布
阅读量1.5w 收藏 204
点赞数 23
分类专栏： NLP python 小项目 文章标签： Python NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinyuan7708/article/details/83279569
版权

基于Python的中文分词词性标注词频统计的实现

今天是2018年10月22号，小亮继续着自己深度学习与自然语言处理的打怪升级之路。今天给大家介绍一下最近接的小项目，基于Python的中文分词词性标注词频统计的实现，在这里与大家交流一下！

笔者信息：Next_Legend QQ:1219154092 机器学习 自然语言处理 计算机视觉 深度学习
小亮的博客：https://legendtianjin.github.io/NextLegend.github.io/ ——2018.10.22 于北洋

一、项目需求

        该项目的背景领域是金融工程，处理语料是中文的金融方向的txt书籍，目的是检测出书中的名词与动词等关键信息，并标注词性、统计词频等信息，最后导出数据为Excel格式。下图是需要处理的txt文本数据以及小亮自己找的停用词文本：

在这里插入图片描述
在这里插入图片描述

二、需求分析

最低0.47元/天 解锁文章
小亮 Play NLP
关注
  • 23
    点赞
  • 踩
  • 204
    收藏
    觉得还不错? 一键收藏
  • 19
    评论
专栏目录
基于python的几种中文分词-词性获取
让算法融入生活，改变生活！
05-12 1万+
基于python的几种中文分词-词性获取 1.测试环境 2.安装与使用 2.1 jieba分词 2.2 清华大学的THULAC 2.3 HanLP 2.4 pynlpir 基于python的几种中文分词-词性获取 根据当前网络上关于中文分词的python包，先取以下四种方式： jieba分词； 清华大学的THULAC; HanLP; pynlpir. 1.测试环境 ...
基于python+opencv的图像目标区域自动提取（本项目为提取纸张中的内容）
热门推荐
小亮Machine Learning
08-12 4万+
要点： 该教程为基于python+opencv的图像目标区域自动提取，实现自动提取一张照片中的纸张内容 环境配置： Wn10+CPU i7-6700 Pycharm2018 opencv-python 3.4.2.17 numpy 1.14.5 笔者信息：Next_Legend QQ:1219154092 人工智能 自然语言处理 图像处理 神经网络 ...
用Python分析文本数据的词频并词云图可视化
m0_64336780的博客
09-20 1万+
上次批量提取了上市公司主要业务信息，要分析这些文本数据，就需要做文本词频分析。由于中文不同于英文，词是由一个一个汉字组成的，而英文的词与词之间本身就有空格，所以中文的分词需要单独的库才能够实现，常用的是`jieba`。
Python自然语言处理------分类和标注词汇
Kaiyuan_sjtu的博客
06-15 4341
写在前面一篇读书笔记。1. 使用词性标注器将词汇按它们的词性（parts-of-speech，POS）分类以及相应的标注它们的过程被称为词性标注（part-of-speech tagging, POS tagging）或干脆简称标注。词性也称为词类或词汇范畴。用于特定任务的标记的集合被称为一个标记集。一个词性标注器处理一个词序列，为每个词附加一个词性标记。import nltk text = nl...
Python自然语言处理：词性分组和词频统计
weixin_45463545的博客
04-07 1331
Python是一种高级编程语言，它在自然语言处理领域中有着广泛的应用。其中，词性分组和词频统计是自然语言处理中的两个重要任务。本文将介绍如何使用Python进行词性分组和词频统计。一、词性分组词性分组是将文本中的单词按照它们的词性进行分类的过程。在Python中，可以使用nltk库来进行词性分组。nltk库是自然语言处理领域中最常用的Python库之一，它提供了许多自然语言处理工具和数据集。下面是一个简单的例子，演示如何使用nltk库进行词性分组：python。
Python-使用keras实现的基于BiLSTMCRF的中文分词词性标注
08-10
使用keras实现的基于Bi-LSTM CRF的中文分词 词性标注
7.2.1 中文分词语料库-词频统计的实现-《NLP自然语言处理原理与实践》
weixin_44434643的博客
07-17 1834
首先，书上的代码是基于python2的，运行起来有多处问题。需要改正如下： 1.from framework import *，这个不知道是已有的文件还是什么，反正我直接给注释掉了，也不会报错 2.from cStringIO import StringIO,改为import io 3.设置UTF-8输出环境 reload(sys) sys.setdefaultencoding(‘utf8’) 改为 import importlib importlib.reload(sys) 4.先略过中间的两个函数，看最
自然语言处理NLP之中文分词和词性标注
weixin_52610848的博客
11-22 2174
文章目录一、Python第三方库jieba（中文分词、词性标注）特点二、jieba中文分词的安装关键词抽取基于TF-IDF算法TF-IDF原理介绍基于TextRank算法的关键词抽取textRank算法原理介绍总结 一、Python第三方库jieba（中文分词、词性标注）特点 支持三种分词模式： 1.精确模式，试图将句子最精确地切开，适合文本分析； 2.全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 3.搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合
中文信息处理（三）—— 词性标注
Running Snail
04-20 2018
目录1. 什么是词性标注？2. 词性标注的难点2.1 兼类现象2.1.1 英语词的兼类现象2.1.2 汉语词的兼类现象3. 词性标记集4. 基于HMM的词性标注4.1 什么是基于HMM的词性标注？4.1.1 HMM的提出4.1.2 数学角度4.1.3 Maekov模型4.2 HMM的形式化描述4.2.1 几个概率4.2.2 三大问题的解决方案4.3 参数估计4.4 维特比(viterbi)算法求最大概率4.4.1 Viterbi算法思想4.4.2 Viterbi变量的引入4.2.3 算法复杂度4.2.4 局
catia孔深度符号标注_一文看懂词性标注（基本概念+4种方法+7种工具）
weixin_39987926的博客
12-24 431
什么是词性标注？维基百科上对词性的定义为：In traditional grammar, a part of speech (abbreviated form: PoS or POS) is a category of words (or, more generally, of lexical items) which have similar grammatical properties.词性指...
Python-基于UniversalTransformerCRF的中文分词和词性标注
08-10
Sequence labeling base on universal transformer (Transformer encoder) and CRF; 基于Universal Transformer CRF 的中文分词和词性标注
HMM模型+维特比算法实现分词词性标注.py
11-10
HMM模型+维特比算法实现分词词性标注.py
使用keras实现的基于Bi-LSTM + CRF的中文分词+词性标注（python）
最新发布
04-23
可将原文件转换为用BIS标签（B:表示语句块的开始，I:表示非语句块的开始，S:表示单独成词）标注的文件。 如上将会使用people-2014/train下的文件生成文本文件2014_processed 生成字典 使用命令： python tools/...
基于Python实现的词典分词方法或统计分词方法.zip
06-26
实现基于词典的分词方法和统计分词方法：两类方法中各实现一种即可； 对分词结果进行词性标注，也可以在分词的同时进行词性标注； 对分词及词性标注结果进行评价，包括4个指标：正确率、召回率、F1值和效率。 ...
基于Keras的attention实战
小亮Machine Learning
08-21 2万+
要点： 该教程为基于Kears的Attention实战，环境配置： Wn10+CPU i7-6700 Pycharm 2018 python 3.6 numpy 1.14.5 Keras 2.0.2 Matplotlib 2.2.2 强调：各种库的版本型号一定要配置对，因为Keras以及Tensorflow升级更新比较频繁，很多函数更新后要么更换了名字，要么没有这个函数了...
Tensorflow实现基于RNN的文本分类任务的注意力机制
小亮Machine Learning
08-08 8060
Tensorflow实现文本分类任务的注意力机制 要点： 该教程为深度学习tensorflow实现文本分类任务的注意力机制，实现可视化注意力文本。 环境配置： Wn10+CPU i7-6700 Pycharm2018 Tensorflow 1.8.0 Tensorboard 1.8.0 笔者信息：Next_Legend QQ:1219154092 人工智能 自然语言处理 图像处...
TensorFlow——Mnist手写数字识别并可视化 实战教程（一）
小亮Machine Learning
07-18 5055
要点： 该教程为深度学习tensorflow框架mnist手写数字识别。 实战教程分为（一）（二）（三）分别从tensorflow和MATLAB双角度来实现。 笔者信息：Next_Legend  QQ:1219154092 人工智能 图像处理 神经网络 高维信息处理 自然语言处理                                                         ...
Python快速生成词云
小亮Machine Learning
10-27 1094
Python快速生成词云 今天是2018年10月27号，小亮继续着自己深度学习与自然语言处理的打怪升级之路。今天给大家介绍一下Python快速生成词云的实现，在这里与大家交流一下！ 笔者信息：Next_Legend QQ:1219154092 机器学习 自然语言处理 计算机视觉 深度学习 小亮的博客：https://legendtianjin.github.io/NextLegend.githu...
python结巴分词词性标注
12-21
以下是使用Python中的jieba库进行分词和词性标注的示例： ```python import jieba.posseg as pseg # 分词 text = "我爱自然语言处理" words = jieba.cut(text) # 词性标注 words_with_pos = pseg.cut(text) # 输出分词结果和词性标注结果 print("分词结果：") for word in words: print(word) print("词性标注结果：") for word, pos in words_with_pos: print(word, pos) ``` 运行以上代码，将会得到以下输出： ``` 分词结果： 我 爱 自然语言处理 词性标注结果： 我 r 爱 v 自然语言处理 l ``` 在这个示例中，我们首先导入了jieba.posseg模块，然后使用jieba.cut函数对文本进行分词，得到分词结果。接着使用pseg.cut函数对文本进行词性标注，得到词性标注结果。最后，我们遍历分词结果和词性标注结果，并将它们打印出来。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值