2020.12-HanLP使用记录（持续更新：分词，NER等）

最新推荐文章于 2023-04-06 15:37:35 发布
最新推荐文章于 2023-04-06 15:37:35 发布
阅读量1.2k 收藏
点赞数
分类专栏： 个人笔记 文章标签： HanLP 分词 NER
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/curiousliu/article/details/111152386
版权

2020.12-HanLP使用记录（持续更新：分词，NER等）

目录

背景

HanLP-中文NER

HanLP-中文分词

背景

在中文文本预处理场景中，现有多款工具，例如jieba等。但是通过个人的使用感官尝试，发现HanLP库的分词效果，NER命名实体识别提取效果准确度都更高些，汇总一些HanLP工具的使用方法。

HanLP-中文NER

import hanlp

recognizer = hanlp.load(hanlp.pretrained.ner.MSRA_NER_BERT_BASE_ZH) # 中文NER
recognizer([list(splitText)]) # 输入可能要以list形式输入

HanLP-中文分词

import hanlp

tokenizer = hanlp.load('CTB6_CONVSEG') # 加载模型，需要一段时间
tokenizer("待分词的文本待分词的文本待分词的文本待分词的文本")

 

CuriousLiu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hanlp1.8.3jar包下载
06-29
hanlp，hankcs，支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词调、词性标注），命名实体识别（中国人民、音译人民、日本人民，地名，实体机构名识别），关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句法分析（MaxEnt依存句法分析、神经网络依存句法分析）。提供Lucene查件，兼容Solr和ElasticSearch。
BERT-CRF-for-Chinese-NER:使用BERT + CRF模型执行中文NER任务
05-11
BERT-CRF-for-Chinese-NER Using BERT+CRF model to do Chinese NER task 如何运行 链接: 密码: 0qtc 请从网盘链接下载bert-chinese预训练模型，放在chinese-bert文件夹下 直接python run_ner.py即可
Python 命名实体识别(NER) 库 使用指南
热门推荐
ZJRN1027的博客
12-21 1万+
一、前言 最近工作中需要使用命名实体识别来做一版人名及机构名的预识别demo，评估了独立训练一套NER模型所耗费的标注成本巨大，加上目前只是对该需求进行demo版本的开发，所以花了一段时间对目前现有的开源 NER 工具包进行了调研及优缺点评估。 这次主要使用的开源 NER 工具包有： StanfordCoreNLP https://stanfordnlp.github.io/Cor...
NLP预处理之分词工具的使用（jieba，hanlp）
qq_40887846的博客
06-02 1416
介绍常用的分词技术，jieba，hanlp，紧接着介绍了命名实体识别和词性标注任务
[已解决]python36+tensorflow-gpu2.3.0+hanlp[full]安装方法
weixin_44174352的博客
02-03 1903
最近由于在学习NLP，需要借助HanNLP进行辅助学习，这就逃不掉装包这个过程。 1.创建环境 为了保证稳定性，这里还是使用3.6的python比较保险 conda install --name forNLP python=3.6 2.记得添加清华或其他国内镜像（老生常谈，略 3.安装tensorflow-gpu conda install tensorflow-gpu 4.如果没有安装Microsoft Visual C++ 14.0以上的版本，记得先提前安装（后面安装hanlp需要） 当然，直接安装
【NLP】Python调用Hanlp进行NER处理
EchoooZhang的博客
10-21 2664
【NLP】Python调用Hanlp进行NER处理HanlpHanlp是什么一些坑。。。测试一下吧！具体NER也在继续，等下一篇吧~ Hanlp 最近在想小论文Idea,其中有一部分想用命名实体抽取（NER），以前NLP有一定基础，这次想用新的可用的工具，以前用过斯坦福的NLP，但是据说中文效果更好的应该是Hanlp。Hanlp是Java支持的，本以为可以直接用Pyhanlp,but…(- -）一...
HanLP实战教程：离线本地版分词与命名实体识别
我的一些代码。。。
04-06 3004
在这篇博客文章中，我们将介绍如何使用HanLP 2.1.0-beta.46版本的native API在本地离线环境下进行中文分词和命名实体识别。我们将重点介绍单任务API的使用方法，以及如何加载预训练模型。
python3使用hanlp识别人名
xutengfei999的博客
10-29 953
1.安装hanlp pip install hanlp 2.使用 import hanlp #识别实体 recognizer = hanlp.load(hanlp.pretrained.ner.MSRA_NER_BERT_BASE_ZH) #解析人名 def extract_name(text:str): if not text: return "" result = parse_name_hanlp(text) ...
技术改变生活——用HanLP来协助处理现实中问题
dianyanxia的博客
11-13 1264
此例是我之前在学习nlp过程中的一个例子，需求如下： 平时收集了一下客户对于餐馆的评价，目标是将这些评价数据进行分类，比如分成满意或者不满意，这一类简单的客户评价情感极性分析，来策划餐馆满意菜品的推荐、用倾向性分析来改善餐馆的服务质量，以及提高创收利润。 1 .首先来查看一下收集到的评价数据。评价数据的抽样： 可以看到数据集中有餐馆的id编号，以及对餐馆的评价分数(总体评分、环境、口味、服务) 2. 数据清洗： 在语料库中找到我们感兴趣的东西，把不感兴趣...
关于hanlp2.0的问题
qq_38148600的博客
11-18 606
当hanlp安装成功的时候 importhanlp报错 是在该文件出现的问题 这个文件是从网上下载bert模型，假如我不使用hanlp的bert是否将其删除会好一点。
albert-chinese-ner：使用预训练语言模型ALBERT做中文NER
02-06
下载albert中文模型，这里使用的是base 将模型文件夹重命名为albert_base_zh，加入项目中 运行python albert_ner.py --task_name ner --do_train true --do_eval true --data_dir data --vocab_file ./albert_config...
bert-chinese-ner：使用预训练语言模型BERT做中文NER
02-06
使用预训练语言模型BERT做中文NER尝试，微调BERT模型 PS：移步最新模型 代码参考 使用方法 从下载bert源代码，存放在路径下bert文件夹中 从下载模型，放置在checkpoint文件夹下 使用BIO数据标注模式，使用人民日报...
NER-in-Chinese-Text:NLP硬BiLSTM + CRF
05-15
NER：Keras中的中文命名实体识别模型1：基于字符嵌入的BiLSTM-CRF。 Model2：在model1的基础上。 使用Conv1D从单词嵌入中提取n_gram特征作为辅助特征。 ps： 首先运行preprocess.py和utils.py，以获取已处理的train ...
自然语言处理（NLP）（一）文本预处理篇之分词、向量表示和特征处理
weixin_36488653的博客
06-09 3114
文章目录一、文本处理1. 文本预处理的基本方法1.1 jieba模块分词1.1.1 精确模式分词1.1.2 全模式分词1.1.3 搜索引擎模式分词1.1.4 中文繁体分词1.1.5 自定义词典分词1.2 hanlp模块1.2.1 中文分词1.2.2 英文分词1.2.3 命名实体识别1.2.4 词性标注2. 文本张量表示方法2.1 one-hot词向量表示2.2 word2vec2.2.1 CBOW(Continuous bag of words)模式2.2.2 skipgram模式2.2.3 使用fastt
Pytorch 自学笔记（自用）
warm_body的博客
08-16 333
通过get_word_vector方法来获得指定词汇的词向量，模型保存与重加载
jieba&hanlp（分词、命名实体识别、词性标注）
h2728677716的博客
04-11 6340
jieba 分词：按照字序列的一定顺序重新组合 作用：帮助人更好的理解文字的意思 jieba通常有三种用法：精确模式， 全模式， 搜索引擎模式 import jieba # jieba.cutl如果不给参数，默认是精确模式 content = "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作" # jieba.cut(content, cut_all=False) # 返回一个生成器对象,cut_all=False是精确模式 print(jieba.lcut(co
二、springboot整合elasticsearch+hanlp（7.16.2）----附完整测试用例
m0_51706962的博客
02-17 7093
1、springboot整合elasticsearch+hanlp分词器 (7.16.2) 。 2、实现基本的增删改查功能、关键字分页搜索、时间排序、关键字高亮等操作 。
【NLP工具】hanLP2.1的使用（未完）
尊新必威的博客
02-01 4849
一、hanlp简介 面向生产环境的多语种自然语言处理工具包，基于PyTorch和TensorFlow 2.x双引擎，目标是普及落地最前沿的NLP技术。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 借助世界上最大的多语种语料库，HanLP2.1支持包括简繁中英日俄法德在内的104种语言上的10种联合任务：分词（粗分、细分2个标准，强制、合并、校正3种词典模式）、词性标注（PKU、863、CTB、UD四套词性规范）、命名实体识别（PKU、MSRA、OntoNotes三套规范）、依存
2020.11-依存句法树baidu-DDParser工具使用
CuriousLiu的博客
11-24 3468
Reference： https://github.com/baidu/DDParser https://blog.csdn.net/qq_27590277/article/details/107853326 目录 依存句法分析简介 项目介绍 环境依赖安装+功能使用 1. 安装 2. 功能使用 基础方法 扩展方法 依存句法分析简介 依存句法分析旨在通过分析句子中词语之间的依存关系来确定句子的句法结构。其中依存句法分析标注关系集合如下图所示： 于是一个实例如下图所示： 通过
WARNING:tensorflow:From E:\pycharm-workspace\BERT\BERT-BiLSTM-CRF-NER-master\bert_base\bert\modeling.py:359: calling dropout (from tensorflow.python.ops.nn_ops) with keep_prob is deprecated and will be removed in a future version. Instructions for updating: Please use rate instead of keep_prob. Rate should be set to rate = 1 - keep_prob. WARNING:tensorflow:From E:\pycharm-workspace\BERT\BERT-BiLSTM-CRF-NER-master\bert_base\bert\modeling.py:673: dense (from tensorflow.python.layers.core) is deprecated and will be removed in a future version. Instructions for updating: Use keras.layers.Dense instead. WARNING:tensorflow:From E:\pycharm-workspace\BERT\BERT-BiLSTM-CRF-NER-master\venv\lib\site-packages\tensorflow_core\python\layers\core.py:187: Layer.apply (from tensorflow.python.keras.engine.base_layer) is deprecated and will be removed in a future version. Instructions for updating: Please use layer.__call__ method instead. WARNING:tensorflow:From E:\pycharm-workspace\BERT\BERT-BiLSTM-CRF-NER-master\bert_base\bert\modeling.py:277: The name tf.erf is deprecated. Please use tf.math.erf instead.
最新发布
07-14
这些警告信息是关于一些 TensorFlow 函数和类的变化和更新的提示。我会逐个解释每个警告的含义： 1. "From E:\pycharm-workspace\BERT\BERT-BiLSTM-CRF-NER-master\bert_base\bert\modeling.py:359: calling dropout (from tensorflow.python.ops.nn_ops) with keep_prob is deprecated and will be removed in a future version. Instructions for updating: Please use rate instead of keep_prob. Rate should be set to rate = 1 - keep_prob." 这个警告表示在 "modeling.py" 文件的第 359 行中，使用了 `dropout` 函数，并传递了 `keep_prob` 参数。然而，将来的 TensorFlow 版本将移除 `keep_prob` 参数，并建议使用 `rate` 参数代替。`rate` 参数的计算方式为 `rate = 1 - keep_prob`。 你可以将代码中的 `keep_prob` 替换为 `rate` 来消除这个警告。 2. "From E:\pycharm-workspace\BERT\BERT-BiLSTM-CRF-NER-master\bert_base\bert\modeling.py:673: dense (from tensorflow.python.layers.core) is deprecated and will be removed in a future version. Instructions for updating: Use keras.layers.Dense instead." 这个警告表示在 "modeling.py" 文件的第 673 行中，使用了 `dense` 函数，但该函数已被废弃，并将在将来的 TensorFlow 版本中移除。建议使用 `keras.layers.Dense` 来代替。 你可以将代码中的 `dense` 替换为 `keras.layers.Dense` 来消除这个警告。 3. "From E:\pycharm-workspace\BERT\BERT-BiLSTM-CRF-NER-master\venv\lib\site-packages\tensorflow_core\python\layers\core.py:187: Layer.apply (from tensorflow.python.keras.engine.base_layer) is deprecated and will be removed in a future version. Instructions for updating: Please use layer.__call__ method instead." 这个警告表示在 "core.py" 文件的第 187 行中，使用了 `Layer.apply` 方法，但该方法已被废弃，并将在将来的 TensorFlow 版本中移除。建议使用 `layer.__call__` 方法来代替。 你可以将代码中的 `Layer.apply` 替换为 `layer.__call__` 来消除这个警告。 4. "From E:\pycharm-workspace\BERT\BERT-BiLSTM-CRF-NER-master\bert_base\bert\modeling.py:277: The name tf.erf is deprecated. Please use tf.math.erf instead." 这个警告表示在 "modeling.py" 文件的第 277 行中，使用了 `tf.erf` 函数，但该函数已被废弃。建议使用 `tf.math.erf` 函数来代替。 你可以将代码中的 `tf.erf` 替换为 `tf.math.erf` 来消除这个警告。 总之，这些警告信息是为了提醒你在代码中使用了已被废弃或即将被移除的 TensorFlow 函数和类。建议根据警告信息中的建议进行相应的更新，以保持代码的兼容性和稳定性。 如果你对这些警告信息有更多疑问或需要进一步帮助，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值