spacy中文分词添加自定义词典

最新推荐文章于 2023-07-28 06:50:53 发布
最新推荐文章于 2023-07-28 06:50:53 发布
阅读量1.9k 收藏 5
点赞数 1
分类专栏： Python学习 文章标签： 中文分词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ccutyear/article/details/124821549
版权

文章目录

一、问题

在分词的过程中会碰到一些新的潮流词汇在无法正确的进行分词。如下图所示：
在这里插入图片描述

二、解决方法

  • 换一个容易找到解决方法的库如jieba。
  • 使用pkuseg_update_user_dict（详情可以查询官网：https://spacy.io/usage/v2-3）
    在这里插入图片描述
ccutyear
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
spaCy V3.0.0 专业领域中文分词问题
u014607067的博客
02-26 1631
在中文NLP中，首先遇到的就是中文分词问题。与英文不同，英文分词天然使用空格，但中文却没有这样的天然分隔。对于日常通用领域，各分词器的表现还不错，但涉及到特定专业领域，会存在许多专业词汇，需要用到用户自定义词典(user dictionary)。 PACKAGE LANGUAGE TRANSFORMER TAGGER PARSER NER en_core_web_trf English roberta-base 97.8 95.2 89.9 de_dep_
spacy分词器
xiaoxiaoqian0519的博客
12-25 2357
spacy中文分词器spacy分词器介绍分词算法介绍分词模式介绍三种分词模式自定义词典关键词提取 spacy分词器介绍 spacy使用的中文jieba分词器，接下来对这个分词器进行简单介绍。 分词算法介绍 结巴中文分词涉及到的算法包括： (1) 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)； (2) 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合； (3) 对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法。 分词模式
利用spaCy对中文文本分词和去除停用词处理
weixin_44804517的博客
03-30 3785
自然语言处理作业(3.28) 本次作业的要求是利用Python中的spaCy模块对《天龙八部》小说进行文本预处理，实现过程如下： 1、对文本进行分词处理并去除停用词保存成一个txt 首先，在导入spaCy相关模块后，需要加载中文处理包。然后读取小说数据，对天龙八部小说进行nlp处理，既包括：分词、向量化、词性标注、语法解析和命名实体识别，并对小说用符号“/”进行分隔。最后通过is_stop函数判断分词中的词语是否为停用词，去除掉停用词后把结果写入txt文件中，具体代码如下： import spacy imp
使用SpaCy分词
weixin_43826681的博客
05-23 3700
一、安装SpaCy pip install spacy 二、英文分词 1. 安装en python -m spacy download en 2. 分词 import spacy spacy_en = spacy.load("en_core_web_sm") def tokenize_en(text): return [tok.text for tok in spacy_en.tokenizer(text)] print(tokenize_en("Hello, my name is t
中文分词工具
陈小明666的博客
08-15 453
1.ansj_seg github地址：https://github.com/NLPchina/ansj_seg 文档地址：http://nlpchina.github.io/ansj_seg/ 分词速度快，目前实现了.中文分词. 中文姓名识别 . 用户自定义词典,关键字提取，自动摘要，关键字标记等功能。 maven配置： <dependency> ...
Spacy自训练中文词性标注模型
Tankcheng的博客
04-16 2955
Spacy自训练中文词性标注模型 谭楷城 181205101874 2021/4/14 首先加载相关包并读入数据文件： # 读入相关包 from __future__ import unicode_literals, print_function import plac import random from pathlib import Path import spacy from spacy.training import Example import jieba # 读入训练数据和测试数据 # 删
spacy对应的中文transformer模型，加载可提高分词效果
08-02
还写了篇spacy的文章，可以结合看。
spacy-ner-annotator:使用自定义数据集训练 Spacy ner
05-29
发布注释下载数据并使用convert_spacy_train_data.py转换为 spacy 格式如果您愿意，将数据拆分为训练和测试并将其添加到train.py 最后在设置超参数后运行 train.py。 迭代损失记录在output_log.txt 。 准确率、召回...
Chinese_models_for_SpaCy：SpaCy中文模型| 支持中文的SpaCy模型
02-03
SpaCy官方中文模型已经上线（ ），本项目『推动SpaCy中文模型开发』的任务已经完成，本项目将进入维护状态，后续更新将只进行bug修复，感谢各位用户长期的关注和支持。 SpaCy中文模型 为SpaCy提供的中文数据模型。...
基于 Jupyter notebook的SpaCy 官方中文模型源码
03-24
基于 Jupyter notebook的SpaCy 官方中文模型源码
Python-spacylookup基于字典的命名实体识别
08-09
spacy-lookup: 基于字典的命名实体识别
spacy-lefff:基于Lefff的自定义法语POS和lemmatizer用于spacy
05-05
spacy-lefff：基于Lefff的自定义法语POS和lemmatizer用于spacy 扩展和管道组件，用于基于添加法语POS和 。 在版本，spaCy更新了法语lemmatization 从0.4.0及更高版本开始， spacy-lefff仅支持python3.6 +和spacy v3...
在Python中利用Spacy对文本快速分词去重生成词列表
henanlion的博客
09-24 2700
python中的spacy是一款强大的文本分析工具，具有分词，词干化，实体识别等功能，它的特点是分词准确度高于NLTK，速度也大大提升，可快速生成词干化并且去重的词列表。使用之前，首先要在安装了64位python的电脑上安装spacy，笔记python版本为3.8，64位。直接在cmd下面输入： pip install spacy 成功后继续安装en_core_web_sm模块大约50M python -m spacy download en_core_web_sm 这两步中可能会遇到出...
NLP-基础任务-分词算法：概述【成熟的第三方工具包：中文（jieba、哈工大LTP）、英文（NLTK、SpaCy、StanfordCoreNLP）】
u013250861的博客
03-27 1205
深度学习-自然语言处理(NLP)-文本预处理：分词
Spacy整理
xiaoxiaoqian0519的博客
12-29 1706
Spacy整理spacy基本介绍spacy组成部分tokenpipelinestaggerparserner spacy基本介绍 spacy是一个用于NLP任务的模块，可以实现分词，词性标注，命名实体识别，依存关系分析等功能。 关于spacy的安装和部分的使用方法可以看我之前的博客： spacy的安装和部分使用方法 spacy组成部分 spacy可以是由四个部分组成的，分别是token模块和三个pipelines(tagger, parser, ner)，其中三个pipelines可以被移除。他们分别负责不
分词工具与方法：jieba、spaCy等
qq_33578950的博客
04-07 2443
分词是自然语言处理中的一项重要任务，将一段文本划分成一系列有意义的词语或单词，是很多文本处理任务的基础，如文本分类、情感分析、机器翻译等。在中文分词中，jieba是一个常用的分词工具，而在英文分词中，spaCy是一个较为流行的选择。本文将介绍jieba和spaCy的使用方法和原理。
spaCy V3.0 基于规则匹配(1)----基于词例(Token)的匹配
u014607067的博客
03-03 1760
#spaCy V3.0 基于规则匹配(1)----基于词符(Token)的匹配 用于发现短语、词符(tokens)、实体 部分示例内容是针对中文并结合电力行业领域具体应用原创的
关于pkuseg-python的基本介绍和使用
TFATS的博客
09-28 8747
一，pkuseg的基本概念和亮点 1，什么是pkuseg pkuseg 是由北京大学语言计算与机器学习研究组研制推出的一套全新的中文分词工具包。 pkuseg 在github中的网址如下： https://github.com/lancopku/pkuseg-python 2，主要亮点 多领域分词。不同于以往的通用中文分词工具，此工具包同时致力于为不同领域的数据提供个性化的预训练模型。根据待分词文本的领域特点，用户可以自由地选择不同的模型。 我们目前支持了新闻领域，网络领域，医药领域，旅游领域，以及混合领
[自然语言处理] 自然语言处理库spaCy使用指北
最新发布
2301_78834737的博客
07-28 393
自然语言处理（Natural Language Processing，简称NLP）是一门研究人类语言与计算机之间交互的领域，旨在使计算机能够理解、解析、生成和处理人类语言。NLP结合了计算机科学、人工智能和语言学的知识，通过各种算法和技术来处理和分析文本数据。近年来，随着深度学习技术的发展，神经网络模型在自然语言处理（NLP）领域取得了重大的突破。其中，循环神经网络（RNN）、长短时记忆网络（LSTM）和Transformer等模型都发挥了关键作用。
spacy自定义中文命名实体
03-28
Spacy是一个强大的自然语言处理库，它支持各种语言，包括中文。在Spacy中，我们可以通过训练模型来识别和提取命名实体。下面是一些关于如何在Spacy中自定义中文命名实体的步骤： 1. 准备数据集：首先，需要准备一个包含中文文本和对应命名实体的数据集。这个数据集应该是一个json格式的文件，每个文本都应该包含一个“text”字段和一个“entities”字段，entities字段应该是一个列表，其中每个元素都是一个字典，包含“start”和“end”字段，分别表示命名实体在文本中的起始位置和结束位置，以及“label”字段，表示命名实体的类型。 2. 数据预处理：将数据集转换为Spacy可接受的格式。可以使用Spacy提供的工具函数，如spacy.gold.biluo_tags_from_offsets()，将实体坐标转换为BILUO（Beginning, Inside, Last, Unit, Outside）标签。还需要将数据集分为训练集、验证集和测试集。 3. 定义模型：Spacy提供了一个基于卷积神经网络和条件随机场（CRF）的命名实体识别模型，可以通过调用spacy.blank()函数创建一个空模型，并使用add_pipe()方法添加组件。 4. 训练模型：使用Spacy提供的训练函数，对模型进行训练。训练过程中需要指定训练数据、验证数据、迭代次数、批处理大小等参数。训练过程可以耗费较长时间，因此建议在GPU上进行训练。 5. 测试模型：在测试集上测试模型的性能。可以使用Spacy提供的evaluate()函数，计算模型的准确率、召回率和F1分数等指标。 6. 使用模型：将训练好的模型应用于新的中文文本，使用模型的nlp()方法对文本进行处理，并使用ents属性获取提取的命名实体。 需要注意的是，Spacy自带的中文模型性能较差，因此建议使用自定义模型进行中文命名实体识别。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值