中文自然语言处理工具hanlp隐马角色标注详解

最新推荐文章于 2022-01-30 09:32:25 发布
最新推荐文章于 2022-01-30 09:32:25 发布
阅读量709 收藏
点赞数
分类专栏： 大数据 大数据 hanlp 文章标签： hanlp 角色标注
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/adnb34g/article/details/87180665
版权

本文旨在介绍如何利用HanLP训练分词模型，包括语料格式、语料预处理、训练接口、输出格式等。 目前HanLP内置的训练接口是针对一阶HMM-NGram设计的，另外附带了通用的语料加载工具，可以通过少量代码导出供其他训练工具使用的特定格式（如CRF++）。

语料格式

输入语料格式为人民日报分词语料库格式。该格式并没有明确的规范，但总体满足以下几点：

1、单词与词性之间使用“/”分割，如华尔街/nsf，且任何单词都必须有词性，包括标点等。

2、单词与单词之间使用空格分割，如美国/nsf 华尔街/nsf 股市/n。

3、支持用[]将多个单词合并为一个复合词，如[纽约/nsf 时报/n]/nz，复合词也必须遵守1和2两点规范。

你可以参考OpenCorpus/pku98/199801.txt（作者并无版权，请勿询问）。

语料预处理

语料预处理指的是将语料加载到内存中，根据需要增删改其中部分词语的一个过程。 在HanLP中，这是通过CorpusLoader.walk实现的：

 

最低0.47元/天 解锁文章
adnb34g
关注
专栏目录
hanlp 训练模型_中文自然语言处理工具hanlp隐马角色标注详解
weixin_39834090的博客
12-20 398
原标题：中文自然语言处理工具hanlp隐马角色标注详解本文旨在介绍如何利用HanLP训练分词模型，包括语料格式、语料预处理、训练接口、输出格式等。 目前HanLP内置的训练接口是针对一阶HMM-NGram设计的，另外附带了通用的语料加载工具，可以通过少量代码导出供其他训练工具使用的特定格式(如CRF++)。语料格式输入语料格式为人民日报分词语料库格式。该格式并没有明确的规范，但总体满足以下几点：1...
基于依存句法分析的中文语义角色标注
02-23
依存句法是句法分析的一种,相比于短语结构句法分析,依存句法具有更简洁的表达方式。该文采用英文语义角色标注的研究方法,实现了一个基于中文依存句法分析的语义角色标注系统。该系统针对中文依存关系树,采用有效的剪枝算法和特征,使用最大熵分类器进行语义角色的识别和分类。系统使用了两种不同的语料,一种是由标准短语结构句法分析(CTB5.0)转换而来,另一种是CoNLL2009公布的中文语料。系统分别在两种语料的标准谓词和自动谓词的基础上进行实验,在标准谓词上取得的F1值分别为84.30%和81.68%,在自动谓词上的F1值为81.02%和81.33%。
hanlp2.x使用与语义角色标注任务
呆萌的代Ma
01-30 1702
hanlp 2.x的文档逻辑不太好看，这里记录一下语义角色标注任务的相关代码与文档中的重要内容 hanlp github地址：https://github.com/hankcs/HanLP hanlp各种任务缩写：https://hanlp.hankcs.com/docs/data_format.html#naming-convention 从文档中可以看到“tok”是分词，“srl”是语义角色标注 hanlp语义角色标注标签含义：https://hanlp.hankcs.com/docs/annotati
HanLP：中文分词词性标注命名实体识别依存句法分析语义依存分析新词发现用自动生成的摘要进行文本分类聚类拼音简繁转换自然语言处理
02-03
HanLP：汉语言处理 || || 面向生产环境的多语种自然语言处理工具包，基于PyTorch和TensorFlow 2.x双引擎，目标是普及落地最前沿的NLP技术。HanLP实现功能完善，性能高效，架构清晰，语料时新，可自定义的特点。 穿越世界上最大的多语言种语料库，HanLP2.1支持包括简繁中英日俄法德内部的104种语言上的10种联合任务：分词（粗分，细分2个标准，强制，合并，校正3种），词性标注（PKU，863，CTB，UD四套词性规范），命名实体识别（PKU，MSRA，OntoNotes三套规范），依存句法分析（SD，UD规范），成分法分析，语义依存分析（SemEval16，DM，PAS，PSD四套规范），语义角色标注，词干提取，词法语法特征提取，抽象意义（AMR）。 量体裁衣，HanLP提供RESTful和本机两种API，分别面向轻量级和海量级两种场景。无论使用哪种API语言，HanLP接口在语义上保持一致，在代码上坚持开源。 轻量级RESTful API 服务器算力有限，匿名用户重新放置， 。 Python pip install hanlp_restful 创建客户端
自然语言处理(NLP)-第三方库(工具包)：HanLP（更适合中文数据集）【命名实体识别、分词、词性标注、依存句法分析、语义角色标注】
u013250861的博客
03-28 912
深度学习-自然语言处理(NLP)-第三方库(工具包)：HanLP（更适合中文数据集）【命名实体识别、分词、词性标注、依存句法分析、语义角色标注】
hanlp 自然语言处理入门
05-20
在"hanlp 自然语言处理入门"的学习资料中，我们可以期待涵盖一系列基础到进阶的NLP概念和技术。这里我们将深入探讨其中的关键知识点。 首先，Python-3.8.10-amd64.exe是一个Python编程环境的安装程序，Python是NLP...
Python-自然语言处理工具包HanLP的Python接口
08-10
**Python-自然语言处理工具包HanLP的Python接口** 在Python的世界里，自然语言处理（NLP）是一项关键任务，涉及文本分析、语义理解、情感分析等多个领域。HanLP，由厦门汉云科技有限公司开发，是一款高效、易用的...
基于bert的中文自然语言处理工具，包括情感分析、中文分词、词性标注、以及命名实体识别功能,并提供文本分类任务、序列标注任务、句
最新发布
01-07
基于bert的中文自然语言处理工具，包括情感分析、中文分词、词性标注、以及命名实体识别功能,并提供文本分类任务、序列标注任务、句对关系判断任务的训练与预测接口 说明 基于bert的中文自然语言处理工具 包括情感...
中文句法标注系统（语义标注工具）
03-16
用于对中文句子进行语义标注，以构建大规模语料库
HanLP:中文分词 词性标注 命名实体识别 依存句法分析 语义依存分析 新词发现 关键词短语提取 自动摘要 文本分类聚类 拼音简繁转换 自然语言处理
05-10
HanLP: Han Language Processing | | | | | 面向生产环境的多语种自然语言处理工具包，基于PyTorch和TensorFlow 2.x双引擎，目标是普及落地最前沿的NLP技术。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 借助世界上最大的多语种语料库，HanLP2.1支持包括简繁中英日俄法德在内的104种语言上的10种联合任务：分词（粗分、细分2个标准，强制、合并、校正3种）、词性标注（PKU、863、CTB、UD四套词性规范）、命名实体识别（PKU、MSRA、OntoNotes三套规范）、依存句法分析（SD、UD规范）、成分句法分析、语义依存分析（SemEval16、DM、PAS、PSD四套规范）、语义角色标注、词干提取、词法语法特征提取、抽象意义表示（AMR）。 量体裁衣，HanLP提供RESTful和nati
HanLP:汉语言处理-开源
04-28
HanLP是由多种模型和算法组成的多语言自然语言处理（NLP）库。 它基于TensorFlow 2.0构建，旨在推进最先进的深度学习技术，并在学术界和行业中推广自然语言处理的应用。 HanLP可以进行词法分析（中文分词，词性标注，命名实体识别），语法分析，文本分类和情感分析。 它带有针对包括中文和英文在内的多种语言的预训练模型。 它提供了高效的性能，清晰的结构和可自定义的功能，并提供了许多令人叹为观止的功能。
HanLP：汉语语言处理-源码
03-07
HanLP是一系列模型与算法组成的NLP工具包，由大快搜索主导并完全开源，目标是普及自然语言处理在生产环境中的应用.HanLP具备功能完善，性能高效，架构清晰，语料时新，可自定义的特点。 HanLP提供下列功能： 中文分词 HMM-两字组（速度与精度最佳平衡;一百兆内存） 最短路分词，N-最短路分词 由字构词（侧重精度，全世界最大语料库，可识别新词;适合NLP任务） 感知机分词，CRF分词 词典分词（侧重速度，每秒数千万字符;省内存） 极速词典分词 所有分词器都支持： 索引全切分模式 用户自定义词典 兼容繁体中文 训练用户自己的领域模型 词性标注 HMM词性标注（速度快） 感知机词性标注，CRF词性标注（精度高） 命名实体识别 基于HMM角色标注的命名实体识别（速度快） 中国人名识别，音译人名识别，日本人名识别，地名识别，实体机构名识别 基于线性模型的命名实体识别（精度高） 感知机命名实体识别，CRF命名实体识别 关键词提取 TextRank关键词提取 自动摘要 TextRank自动摘要 短语提取 基于互信息和左右信息熵的短语提取 拼音转换 多音字，声母，韵母，声调 简繁转换 简繁分歧词（简体，繁体，台湾正体，香港繁体） 文本推荐 语义推荐，拼音推荐，字词推荐 依存句法分析 基于神经网络的高性能依存句法分析器 基于ArcEager转移系统的柱搜索依存句法分析器 文本分类 情感分析 文本聚类 KMeans，Repeated Bisection，自动推断聚类数目k word2vec 词向量训练，加载，词语相似度计算，语义运算，查询，KMEANS聚类 文档语义相似度计算 语料库工具 部分默认模型训练自小型语料库，鼓励用户自行训练。模块所有提供训练接口，语料可参考98年人民日报语料库。 在提供丰富功能的同时，HanLP内部模块坚持低耦合，模型坚持惰性加载，服务坚持静态提供，词典坚持明文发布，使用非常方便。默认模型训练自全世界最大规模的中文语料库，同时自带一些语料处理工具，帮助用户训练自己的模型。
HanLP自然语言处理
03-14
HanLP是由一系列模型与算法组成的Java工具包，目标是普及自然语言处理在生产环境中的应用。 HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点
中文语义角色标注 java_一文了解语义角色标注
weixin_31589747的博客
02-26 444
原标题：一文了解语义角色标注本文转自公众号：AI小白入门 本文记录自然语言基础技术之语义角色标注学习过程，包括定义、常见方法、例子、以及相关评测，最后推荐python实战利器，并且包括工具的用法。定义先来看看语义角色标注在维基百科上的定义：Semantic role labeling, sometimes also called shallow semantic parsing, is a pro...
一些实用的语义角色标注（SRL）工具使用方法
ilovewindseed的专栏
04-24 7298
不懂SRL的自己去扫盲吧，简言之就是predict-argument分析。找了一些工具，其中暂时调通两个 1. swirl http://sourceforge.net/projects/swirl-parser/，可以从这下载，本工具里readme介绍较详细，主要是注意有多种输入格式。 带有名实体标注的可能效果比较好，什么都没有的效果比较差一点，下面就简单说一下什么都没有的输入格式。 格
语义角色标注 java实现,自然语言处理基础技术之语义角色标注
weixin_35554771的博客
03-27 245
今天是总结nlp基础技术的最后一篇，后面开始工具实战篇，我觉得实践对新手小白入门是相当有帮助的~~语义角色标注定义：维基百科定义：Semantic role labeling, sometimes also called shallow semantic parsing, is a process in natural language processing that assigns labels...
hanlp 训练模型_HanLP2.0
weixin_39607090的博客
12-20 2393
汤连杰大快搜索是一个相对年轻的公司，组建时间不算很长，我们公司主要是聚焦大数据底层软件、大数据开发框架、人工智能这几个方向。在大数据底层软件方面，有DKH大数据分析处理平台，在人工智能方面的主要产品就是HanLP。HanLP从2015年开始进行研发，目前，我们已经开源了全部源代码。由于HanLP1.x的开发主要以传统方式进行，我们可以直接在工程里面进行调用。从HanLP2.0开始，我们走入深度学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值