LTP与jieba词性标注对比

最新推荐文章于 2024-06-14 19:37:14 发布
最新推荐文章于 2024-06-14 19:37:14 发布
阅读量2.7k 收藏 7
点赞数 3
文章标签： 词性标注 jieba ltp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDN_YXY/article/details/84974726
版权
本文对比了LTP和jieba两个工具在词性标注上的差异，LTP基于863词性标注集，而jieba采用ICTCLAS汉语词性标注集，分别阐述了它们的标注特点。
摘要由CSDN通过智能技术生成

词性标注对比

LTP 使用的是863词性标注集，其各个词性含义如下表。

Tag Description Example Tag Description Example
a adjective 美丽 ni organization name 保险公司
b other noun-modifier 大型, 西式 nl location noun 城郊
c conjunction 和, 虽然 ns geographical name 北京
d adverb 很 nt temporal noun 近日, 明代
e exclamation 哎 nz other proper noun 诺贝尔奖
g morpheme 茨, 甥 o onomatopoeia 哗啦
h prefix 阿, 伪 p preposition 在, 把
i idiom 百花齐放 q quantity 个
j abbreviation 公检法 r pronoun 我们
k suffix 界, 率 u auxiliary 的, 地
m number 一, 第一 v verb 跑, 学习
n general n
最低0.47元/天 解锁文章
野路子的数据科学
关注
NLP之ltp：LTP(一款中文自然语言处理工具)的简介、安装、使用方法(分词/词性标注/命名实体识别/依存句法分析/语义角色标注)之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-19 2137
​ NLP之ltp：LTP(中文自然语言处理工具)的简介、安装、使用方法之详细攻略 目录 LTP的简介 LTP的安装 LTP的使用方法 LTP的简介 LTP（Language Technology Platform，语言技术平台） 提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。 GitHub官网：https://github.com/HIT-SCIR/ltp/blob/main/python/interface/README.md
中科院（nlpir、ictcla）词性标注集与哈工大（ltp）词性标注集对照表
l_s_f123的博客
01-09 3072
在中文分词中，较好的分词工具有中科院的nlpir和哈工大的ltp，但是他们的词性标注集不一致，本文将中科院的词性标注集映射到了哈工大的词性标注集。 dic = { 'n': 'n', 'nr': 'nh', 'nr1': 'nh', 'nr2': 'nh', 'nr
jieba 分词词性-1
Vulpes corsac
09-25 1220
目录 jieba分词词性分类 1. 名词 (1个一类，6个二类，5个三类) 2. 时间词(1个一类，1个二类) 3. 处所词(1个一类) 4. 方位词(1个一类) 5. 动词(1个一类，7个二类,2个四类) 6. 形容词(1个一类，4个二类) 7. 区别词(1个一类，2个二类) 8. 状态词(1个一类) 9. 代词(1个一类，4个二类，6个三类) 10. 数词(1个一类，1个...
汉语词性对照表[北大标准/中科院标准]
爱飞的蒲公英
07-07 3665
词性编码 词性名称 注 解 Ag 形语素 形容词性语素。形容词代码为 a，语素代码ｇ前面置以A。 a 形容词 取英语形容词 adjective的第1个字母。 ad 副形词 直接作状语的形容词。形容词代码 a和副词代码d并在一起。 an
结巴中文分词安装与使用
accp_cn的专栏
05-12 1270
1、安装 pip install jieba 2、代码示例 # encoding=utf-8 import jiebaseg_list = jieba.cut("我来到北京清华大学", cut_all=True) print("Full Mode: " + "/ ".join(seg_list)) 输出： 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
#NLP|jieba分词词性对照
weixin_45312236的博客
01-30 773
jieba词性对照表。
jieba分词的基本用法和词性标注
热门推荐
smilejiasmile的博客
07-08 2万+
jieba分词的基本用法和词性标注 一、jieba 分词基本概述 它号称“做最好的Python中文分词组件”的jieba分词是python语言的一个中文分词包。 它有如下三种模式： 精确模式，试图将句子最精确地切开，适合文本分析； 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率...
国标863词性标注集
07-06
词性标注是NLP中的一个基础任务，它涉及将每个汉字或词汇与一个代表其语法功能的标签对应起来。例如，“我爱你”这句话中，“我”可能是代词，“爱”是动词，“你”是代词。在国标863词性标注集中，这些词会被分别...
哈工大ltp词性标注列表和ICTCLAS词性列表
leiting_imecas的博客
03-30 1万+
哈工大ltp词性列表Tag Description Example a adjective 美丽 b other noun-modifier 大型, 西式 c conjunction 和, 虽然 d adverb 很 e exclamation 哎 g morpheme 茨, 甥 h prefix 阿, 伪 i
Jieba词性对照表
阿卡卡西米露的博客
01-20 5478
@Jieba词性对照表 jieba词性对照表: // jieba词性对照表 - a 形容词 - ad 副形词 - ag 形容词性语素 - an 名形词 - b 区别词 - c 连词 - d 副词 - df - dg 副语素 - e 叹词 - f 方位词 - g 语素 - h 前接成分 - i 成语 - j 简称略称 - k 后接成分 - l 习用语 - m 数词 - mg - m
jieba分词词性标注.py
11-20
将需要分词进行词性标注的句子存放在corpus文本文件（自建）中，最好是每句话存为一行。注：corpus文件需放在代码所在文件夹里。运行代码，自动生成一个outcome文本文件，分词词性标注结果就在此文本里。
结巴分词（支持词性标注）
12-17
结巴分词早期版本。 * 结巴分词(java版) jieba-analysis 首先感谢jieba分词原作者[[https://github.com/fxsjy][fxsjy]]，没有他的无私贡献，我们也不会结识到结巴 分词，更不会有现在的java版本。 结巴分词的原始版本为python编写，目前该项目在github上的关注量为170， 打星727次（最新的数据以原仓库为准），Fork238次，可以说已经有一定的用户群。 结巴分词(java版)只保留的原项目针对搜索引擎分词的功能(cut_for_index、cut_for_search)，词性标注，关键词提取没有实现(今后如用到，可以考虑实现)。 * 简介 ** 支持分词模式 - Search模式，用于对用户查询词分词 - Index模式，用于对索引文档分词 ** 特性 - 支持多种分词模式 - 全角统一转成半角 - 用户词典功能 - conf 目录有整理的搜狗细胞词库 - 支持词性标注(感谢 [[https://github.com/linkerlin][@linkerlin]] 的贡献) * 如何获取 - 当前稳定版本 #+BEGIN_SRC xml com.huaban jieba-analysis 0.0.2 #+END_SRC - 当前快照版本 - 支持词性标注 [[https://github.com/huaban/jieba-analysis/pull/4][#4]] - 修复以'-'连接词分词错误问题 [[https://github.com/huaban/jieba-analysis/issues/3][#3]] #+BEGIN_SRC xml com.huaban jieba-analysis 1.0.0-SNAPSHOT #+END_SRC * 如何使用 - Demo #+BEGIN_SRC java @Test public void testDemo() { JiebaSegmenter segmenter = new JiebaSegmenter(); String[] sentences = new String[] {"这是一个伸手不见五指的黑夜。我叫孙悟空，我爱北京，我爱Python和C++。", "我不喜欢日本和服。", "雷猴回归人间。", "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作", "结果婚的和尚未结过婚的"}; for (String sentence : sentences) { System.out.println(segmenter.process(sentence, SegMode.INDEX).toString()); } } #+END_SRC * 算法(wiki补充...) - [ ] 基于 =trie= 树结构实现高效词图扫描 - [ ] 生成所有切词可能的有向无环图 =DAG= - [ ] 采用动态规划算法计算最佳切词组合 - [ ] 基于 =HMM= 模型，采用 =Viterbi= (维特比)算法实现未登录词识别 * 性能评估 - 测试机配置 #+BEGIN_SRC screen Processor 2 Intel(R) Pentium(R) CPU G620 @ 2.60GHz Memory：8GB 分词测试时机器开了许多应用(eclipse、emacs、chrome...)，可能 会影响到测试速度 #+END_SRC - [[src/test/resources/test.txt][测试文本]] - 测试结果(单线程，对测试文本逐行分词，并循环调用上万次) #+BEGIN_SRC screen 循环调用一万次 第一次测试结果： time elapsed:12373, rate:2486.986533kb/s, words:917319.94/s 第二次测试结果： time elapsed:12284, rate:2505.005241kb/s, words:923966.10/s 第三次测试结果： time elapsed:12336, rate:2494.445880kb/s, words:920071.30/s 循环调用2万次 第一次测试结果： time elapsed:22237, rate:2767.593144kb/s, words:1020821.12/s 第二次测试结果： time elapsed:22435, rate:2743.167762kb/s, words:1011811.87/s 第三次测试结果： time elapsed:22102, rate:2784.497726kb/s, words:1027056.34/s 统计结果:词典加载时间1.8s左右，分词效率每秒2Mb多，近100万词。 2 Processor Intel(R) Core(TM) i3-2100 CPU @ 3.10GHz 12G 测试效果 time elapsed:19597, rate:3140.428063kb/s, words:1158340.52/s time elapsed:20122, rate:3058.491639kb/s, words:1128118.44/s #+END_SRC
结巴分词、词性标注以及停用词过滤
10-31
因为比赛需要用到结巴分词，所以写了一个关于结巴分词、词性标注以及停用词过滤的python程序。
jieba词性说明字典
楼上小宇_home
11-07 763
{ "n": "普通名词", "f": "方位名词", "s": "处所名词", "t": "时间", "nr": "人名", "ns": "地名", "nt": "机构名", "nw": "作品名", "nz": "其他专名", "v": "普通动词", "vd": "动副词", "vn": "名动词", "a": "形容词", "ad": "副形词", "an": "名形词",
结巴 分词及词性
a857553315的博客
06-29 1703
import jieba import jieba.posseg as pseg words = pseg.cut("我爱毛主席北京天安门.!") for word, flag in words: print('%s: %s' % (word, flag)) 打印结果: 通过查看jieba的GitHub上, 可以得到词性的简写都代表什么意思
jieba分词，分词，解析词性。
wangxihe2012的博客
06-01 2056
import jieba #全模式 sentence="教育系统耕耘，在重庆大学从学生成长为校长，2004年7月被明确为副部长级2010年调任武汉大学校长，任教育部副部长、党组成员" words1=jieba.cut(sentence,cut_all=True) print(words1) for word in words1: print(word) print("===========...
结巴分词--词性标注
专注计算机体系结构
06-20 8903
1、简介 词性（part-of-speech）是词汇基本的语法范畴，通常也称为词类，主要用来描述一个词在上下文的作用。例如，描述一个概念的词就是名词，在下文引用这个名词的词就是代词。有的词性经常会出现一些新的词，例如名词，这样的词性叫做开放式词性。另外一些词性中的词比较固定，例如代词，这样的词性叫做封闭式词性。因为存在一个词对应多个词性的现象，所以给词准确地标注词性并不是很容易。例如，“改革”在
python3 - jieba：去停词，词性判断，计算词频
PeersLee的博客
05-23 3283
import jieba import jieba.posseg as pseg from nlp.db import MongoClient from nlp.config import * class Tokenizer(object): def __init__(self): self._db = MongoClient() # 去停词
jieba(结巴)分词词性对照表
最新发布
爱学习_萌萌哒
06-14 338
ag 形容词性语素。- ng 名词性语素。- nt 机构团体名。- rg 代词性语素。- vg 动词性语素。- vi 不及物动词。- ud 结构助词 得。- uj 结构助词 的。- ul 时态助词 了。- uv 结构助词 地。- uz 时态助词 着。
jieba词性标注出错
05-05
可能是因为jieba分词对于某些词汇的词性标注存在一定的误差，特别是对于一些新词或专有名词等。解决这个问题的方法是可以尝试使用其他的中文分词工具，如THULAC、LTP等，或者手动对jieba分词结果进行修正和调整。另外，也可以尝试结合其他NLP技术，如命名实体识别、词向量等，来提高jieba词性标注的准确性。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值