NLP模型笔记2022-09：hanlp所有预训练模型API接口使用

已于 2022-05-27 20:10:30 修改
阅读量521 收藏
点赞数
分类专栏： 自然语言处理笔记与知识图谱专栏 文章标签： 自然语言处理 人工智能 python
于 2022-05-27 20:10:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41194129/article/details/125010095
版权
本文档介绍了如何查找和使用HanLP的预训练模型，包括分词、词性标注、实体识别等任务。文章通过示例详细展示了如何运用不同模型，并提供了相关模型的下载链接。
摘要由CSDN通过智能技术生成

目录


在这里插入图片描述

HanLP2.1支持包括简繁中英日俄法德在内的104种语言上的10种联合任务：

  • 分词（粗分、细分2个标准，强制、合并、校正3种词典模式）
  • 词性标注（PKU、863、CTB、UD四套词性规范）
  • 命名实体识别（PKU、MSRA、OntoNotes三套规范）
  • 依存句法分析（SD、UD规范）
  • 成分句法分析
  • 语义依存分析（SemEval16、DM、PAS、PSD四套规范）
  • 语义角色标注
  • 词干提取
  • 词法语法特征提取
  • 抽象意义表示（AMR）
    在这里插入图片描述

1、找出所有预训练模型 为后续训练模型准备

import hanlp
m=hanlp.pretrained.ALL
print
了解本专栏 订阅专栏 解锁全文 超级会员免费看
源代码杀手
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
NLP模型笔记2022-08：hanlp模型API使用方法
源代码杀手的博客
05-27 359
目录hanlp模型API接口手动下载 hanlp模型API接口 安装：pip install hanlp fasttext fasttext bert-for-tf2 py-params params-flow sentencepiece 源码：https://github.com/hankcs/HanLP 如果无法使用就按照这个指定版本号安装其他依赖： install_requires=['tensorflow==2.3.0', 'fasttext==0.9.1', 'bert-for-tf2==
hanlp 训练模型_【HanLP】HanLP中文自然语言处理工具实例演练
weixin_39796363的博客
12-20 836
作者：白宁超2016年11月25日13:45:13摘要：HanLP是hankcs个人完成一系列模型与算法组成的Java工具包，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 在提供丰富功能的同时，HanLP内部模块坚持低耦合、模型坚持惰性加载、服务坚持静态提供、词典坚持明文发布，使用非常方便，同时自带一些语料处理工具，帮助用户训练自...
hanlp加载预训练模型
呆萌的代Ma
01-29 5884
hanlp 预训练模型的文档可以参考：https://hanlp.hankcs.com/docs/api/hanlp/pretrained/index.html 得到全部的预训练模型可以使用python代码： import hanlp print(hanlp.pretrained.ALL) 文档中有每个模型的下载链接，可以预先下载，例： 下载：https://file.hankcs.com/hanlp/transformers/electra_zh_small_20210706_125427.zip模
hanlp 训练模型_Hanlp分词之CRF中文词法分析详解
weixin_39870155的博客
12-20 264
这是另一套基于CRF的词法分析系统，类似感知机词法分析器，提供了完善的训练与分析接口。 CRF的效果比感知机稍好一些，然而训练速度较慢，也不支持在线学习。默认模型训练自OpenCorpus/pku98/199801.txt，随hanlp 1.6.2以上版本发布。语料格式等与感知机词法分析器相同，请先阅读《感知机词法分析器》。中文分词训练CRFSegmenter segmenter = new CR...
hanlp 训练模型_HanLP2.0
weixin_39607090的博客
12-20 2361
汤连杰大快搜索是一个相对年轻的公司，组建时间不算很长，我们公司主要是聚焦大数据底层软件、大数据开发框架、人工智能这几个方向。在大数据底层软件方面，有DKH大数据分析处理平台，在人工智能方面的主要产品就是HanLP。HanLP从2015年开始进行研发，目前，我们已经开源了全部源代码。由于HanLP1.x的开发主要以传统方式进行，我们可以直接在工程里面进行调用。从HanLP2.0开始，我们走入深度学习...
自然语言处理-基于预训练模型的方法-笔记
09-01
《自然语言处理-基于预训练模型的方法》是一本深入探讨NLP领域中预训练模型的著作，由车万翔、郭江、崔一鸣合著。该书详细介绍了预训练模型在自然语言处理中的重要性和广泛应用，涵盖了从基础知识到前沿技术的多个...
人工智能-项目实践-预训练-NLP实验：新词挖掘+预训练模型继续Pre-training.zip
最新发布
01-06
在本项目实践中，我们主要关注的是人工智能领域中的自然语言处理（NLP）技术，特别是新词挖掘和预训练模型的持续预训练。新词挖掘是NLP中的一个重要环节，它帮助我们识别和提取文本中未被传统词汇资源收录的新兴词汇...
FinBERT-QA:使用预训练的 BERT 语言模型进行金融领域问答
05-29
该系统使用来自信息检索和自然语言处理的技术，首先使用 Lucene 工具包检索每个查询的前 50 个候选答案，然后使用预训练的模型的变新排列候选答案。 FinBERT-QA 从 Huggingface 的库构建并应用 Transfer and Adapt...
人工智能-项目实践-预训练-Bert预训练模型fine-tune计算文本相似度.zip
01-06
Bert预训练模型fine-tune计算文本相似度 运行 ./sentence_similarity_Bert/examples/run_classifier_modify2 进行fine-tune 训练数据集为蚂蚁金服文本匹配的数据 在chinese_data文件夹内 运行run_classifier_...
人工智能-项目实践-预训练-使用预训练语言模型BERT做中文NER.zip
01-06
使用方法 从BERT-TF下载bert源代码，存放在路径下bert文件夹中 从BERT-Base Chinese下载模型，存放在checkpoint文件夹下 使用BIO数据标注模式，使用人民日报经典数据
HanLP:汉语言处理-开源
04-28
HanLP是由多种模型和算法组成的多语言自然语言处理（NLP）库。 它基于TensorFlow 2.0构建，旨在推进最先进的深度学习技术，并在学术界和行业中推广自然语言处理的应用。 HanLP可以进行词法分析（中文分词，词性标注，命名实体识别），语法分析，文本分类和情感分析。 它带有针对包括中文和英文在内的多种语言的预训练模型。 它提供了高效的性能，清晰的结构和可自定义的功能，并提供了许多令人叹为观止的功能。
HanLP：中文分词词性标注命名实体识别依存句法分析语义依存分析新词发现用自动生成的摘要进行文本分类聚类拼音简繁转换自然语言处理
02-03
HanLP：汉语言处理 || || 面向生产环境的多语种自然语言处理工具包，基于PyTorch和TensorFlow 2.x双引擎，目标是普及落地最前沿的NLP技术。HanLP实现功能完善，性能高效，架构清晰，语料时新，可自定义的特点。 穿越世界上最大的多语言种语料库，HanLP2.1支持包括简繁中英日俄法德内部的104种语言上的10种联合任务：分词（粗分，细分2个标准，强制，合并，校正3种），词性标注（PKU，863，CTB，UD四套词性规范），命名实体识别（PKU，MSRA，OntoNotes三套规范），依存句法分析（SD，UD规范），成分法分析，语义依存分析（SemEval16，DM，PAS，PSD四套规范），语义角色标注，词干提取，词法语法特征提取，抽象意义（AMR）。 量体裁衣，HanLP提供RESTful和本机两种API，分别面向轻量级和海量级两种场景。无论使用哪种API语言，HanLP接口在语义上保持一致，在代码上坚持开源。 轻量级RESTful API 服务器算力有限，匿名用户重新放置， 。 Python pip install hanlp_restful 创建客户端
Hanlp自然语言处理工具之词法分析器
weixin_34355881的博客
04-10 232
本章是接前两篇《分词工具Hanlp基于感知机的中文分词框架》和《基于结构化感知机的词性标注与命名实体识别框架》的。本系统将同时进行中文分词、词性标注与命名实体识别3个任务的子系统称为“词法分析器”。加载对应的类为PerceptronLexicalAnalyzer，其构造方法为递增的3个模型地址：lpublic PerceptronLexicalAnalyzer(Strin...
hanlp 训练模型_把隐马尔可夫模型彻底说清楚
weixin_29481259的博客
12-11 606
1. 掌握HMM的必要性有关于隐马尔可夫模型，我去年整理过一次，最后应该是直接把PPT截图到CSDN里了，似乎那篇文章也没有什么人看，或许是因为做成PPT索引不到，或许是大家对HMM没啥兴趣。但其实隐马的优势有点类似于朴素贝叶斯，我们比较好做人工干预。比如在HanLP的人名识别中就是利用的隐马模型，如果你对隐马基本原理没有一个清晰认识，那么直接上隐马的人名识别时，会有很多并非人名的词语被识别出来，...
hanlp 训练模型_中文自然语言处理工具hanlp隐马角色标注详解
weixin_39834090的博客
12-20 369
原标题：中文自然语言处理工具hanlp隐马角色标注详解本文旨在介绍如何利用HanLP训练分词模型，包括语料格式、语料预处理、训练接口、输出格式等。 目前HanLP内置的训练接口是针对一阶HMM-NGram设计的，另外附带了通用的语料加载工具，可以通过少量代码导出供其他训练工具使用的特定格式(如CRF++)。语料格式输入语料格式为人民日报分词语料库格式。该格式并没有明确的规范，但总体满足以下几点：1...
hanlp 训练模型_开源自然语言处理工具包hanlp中CRF分词实现详解
weixin_42469649的博客
12-31 389
CRF简介CRF是序列标注场景中常用的模型，比HMM能利用更多的特征，比MEMM更能抵抗标记偏置的问题。[gerative-discriminative.png] CRF训练这类耗时的任务，还是交给了用C++实现的CRF++。关于CRF++输出的CRF模型，请参考《CRF++模型格式说明》。 CRF解码解码采用维特比算法实现。并且稍有改进，用中文伪码与白话描述如下：首先任何字的标签不仅取决于它自己...
HanLP Demo(学习笔记)
山河已无恙
03-27 6272
我曾经害怕别人嘲笑的目光，后来，发现他们的目光不会在我身上停留太久，人们更愿意把目光放在自己身上。 知乎上看到，讲给自己。
HanLP 分词模型
m0_47943986的博客
11-01 508
知识点
hanlp java api_java分词工具hanlp介绍
weixin_33137081的博客
03-04 422
前几天(6月28日)，在第23届中国国际软件博览会上，hanlp这款自然语言处理工具荣获了“2019年第二十三届中国国际软件博览会优秀产品”。 HanLP是由一系列模型预算法组成的工具包，结合深度神经网络的分布式自然语言处理，具有功能完善、性能高效、架构清晰、语料时新、可自定义等特点，提供词法分析、句法分析、文本分析和情感分析等功能，是GitHub最受欢迎、用户量最大(超过13000个star)、...
ChatGLM-6B：预训练对话模型的技术实践与优化
预训练模型技术实践是当前自然语言处理领域的重要研究方向，其核心在于通过大量的无标注文本数据进行学习，以提升模型在各种任务上的性能。ChatGLM-6B是一个典型的预训练大模型，它在中文和英文双语数据集上进行了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

源代码杀手

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值