使用哈工大LTP测试分词并且增加自定义字典

已于 2022-11-03 13:24:38 修改
阅读量2.1k 收藏 6
点赞数 1
分类专栏： Python君 文章标签： python 哈工大 自定义词典
于 2022-08-08 17:49:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yilvyangguang520/article/details/126232312
版权
本文介绍了如何下载哈工大LTP源码，测试分词功能，以及如何增加自定义词典。在测试过程中，通过修改代码和配置文件解决了编码问题，并对比了不同模型的效果。最后，演示了批量处理文件数据和设置自定义模型路径的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
使用哈工大分词引擎LTP4.2.0使用本地模型
yilvyangguang520的博客
06-29 1739
使用哈工大分词引擎LTP4.2.0使用本地模型
NLP-基础任务-分词算法：概述【成熟的第三方工具包：中文（jieba、哈工大LTP）、英文（NLTK、SpaCy、StanfordCoreNLP）】
u013250861的博客
03-27 1394
深度学习-自然语言处理(NLP)-文本预处理：分词
哈工大LTP模型
08-07
对哈工大ltp代码小结，通过整理汇总得到的几个模型代码
哈工大【LTP】
ccbrid的博客
10-27 741
哈工大【LTP】 LTP LTP制定了基于XML的语言处理结果表示，并在此基础上提供了一整套自底向上的中文语言处理模块，以及基于动态链接库（Dynamic Link Library, DLL）的应用程序接口、可视化工具，并且能够以网络服务（Web Service）的形式进行使用。 （LTP-server） 开源代码：https://github.com/HIT-SCIR/ltp 在线文档...
哈工大 LTP
lihuaqinqwe的博客
06-06 5847
一.LTP事项1.LTP可以做什么？     中文文本进行分词、词性标注、依存句法分析、语义角色标注、语义依存分析。2. 注册：免费注册一个账号  网址：http://www.ltp-cloud.com/accounts/register/二.win10 下pyltp安装指南1.安装环境：win10 python3.5.22.安装步骤：（1）下载LTP项目文件   网址：https://githu...
哈工大依存句法分析工具——LTP的使用与安装
南木的博客
05-24 5581
更多内容请至南木博客主页查看哦 哈尔滨工业大学中文依存句法分析工具（LTP）（该工具只能进行依存句法分析） LTP LTP安装方法 LTP安装方法 使用实例请转至博客 自然语言处理（三）——句法分析与依存句法分析 ...
哈工大LTP使用
qq_41648012的博客
05-06 607
# coding=utf-8 from pyltp import SentenceSplitter from pyltp import Segmentor from pyltp import Postagger from pyltp import NamedEntityRecognizer from pyltp import Parser from nltk import DependencyGr...
哈工大分词器中自定义词典的使用
weixin_34293902的博客
12-28 1094
首先在/usr/local/ltp下放置一个词典，我为了测试就叫userdict.txt ,里面有三个词：解空间深度优先根节点先测试加入自定义词典时的效果：py@ubuntu:/usr/local/ltp$ pythonPython 2.7.12 (default, Nov 19 2016, 06:48:10) [GCC 5.4.0 20160609] on linux2Type "help", ...
[Python知识图谱] 一.哈工大pyltp安装及中文分句、中文分词、导入词典基本用法
热门推荐
杨秀璋的专栏
06-05 1万+
本系列文章主要结合Python语言实现知识图谱构建相关工程，具有一定创新性和实用性，非常希望各位博友交流讨论，相互促进成长。第一篇文章主要介绍哈工大pytltp工具，包括安装过程、中文分词、词性标注和实体识别等。基础性文章，希望对您有所帮助。
哈工大中文分词工具
最新发布
04-03
哈工大中文分词工具（LTP，Language Technology Platform）是由哈尔滨工业大学社会计算与信息检索研究中心开发的一个开源自然语言处理工具集。它提供了多种功能，包括但不限于分词、词性标注、命名实体识别等[^1]。 ...
哈工大词库
04-15
根据网上现有全部资源，对所谓“哈工大停用词词库”、停用词表，整理去重在提取中文词(而不是大量英文词和中文标点符号)出了一个比较全面的词表出来
哈工大 LTP java动态链接库 64位的可用
01-30
哈工大LTP java在Eclipse上编译所需要用到的动态链接库，（.lib和.dll、.exp）64位系统可用
哈工大自然语言处理工具箱之ltp在windows10下的安装使用教程
09-16
主要介绍了哈工大自然语言处理工具箱之ltp在windows10下的安装使用教程,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
哈工大停用词词典
04-28
最全的停用词词典，根据网上现有全部资源，对所谓“哈工大停用词词库”、“四川大学机器学习智能实验室停用词库”、百度停用词表“等等各种停用词表，整理去重在提取中文词(而不是大量英文词和中文标点符号)出了一个比较全面的词表出来
哈工大中文分词系统ltp4j使用总结
luoyooi的博客
07-28 2009
哈工大中文分词系统ltp4j使用总结github地址编译文件下载maven install项目引入1、添加maven依赖2、指定jar包的library_path基本使用1、工具类2、词性标注自定义词典引入 github地址 项目地址: https://github.com/HIT-SCIR/ltp4j 简介与使用: https://ltp4j.readthedocs.io/en/neoltp4j/ 分词标注集附录: 链接 编译文件下载 模型文件可在github项目下载，由于编译jar包比较麻烦，这里提供现
使用哈工大LTP做自然语言处理任务基础demo
呆萌的代Ma
09-04 1035
LTP4 文档：https://ltp.readthedocs.io/zh_CN/latest/ Github地址：https://github.com/HIT-SCIR/ltp 哈工大LTP官网模型下载：https://ltp.ai/download.html 安装方法： pip install ltp 案例代码 from ltp import LTP ltp = LTP() # 默认加载 Small 模型，下载的路径是：~/.cache/torch/ltp sentences = "文本，是指书面
哈工大中文分词系统LTP（pyltp）学习笔记
ac不知深的博客
05-08 4871
一、LTP简介 介绍：语言技术平台(LTP) 提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、高效、精准的自然语言处理技术。经过 哈工大社会计算与信息检索研究中心 11 年的持续研发和推广，LTP已经成为国内外最具影响力的中文处理基础平台，曾获 CoNLL 2009七国语言句法语义分析评测总成绩第一名，中文信息学会钱伟长一等奖等重要成绩和荣誉。目前，LTP 已经被 500多家国内外研究机构和企业使用，多家大企业和科研机构付费使用。 来源：语言云。 其他不做过多讲解，直接上官网
哈工大ltp的使用
li_dongchao的博客
12-06 4872
下载安装 安装 使用python版本的ltp pip install pyltp 下载对应版本模型 可以在这里下载 https://pan.baidu.com/share/link?shareid=1988562907&uk=2738088569#list/path=%2F 注意对应版本下载 基本用法 # -*- coding: utf-8 -*- #作者：MebiuW #微博：@Meb...
【知识图谱】哈工大ltp工具包的安装和使用
rip -- shun
03-25 1万+
LTP（Language Technology Platform） 提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。 官方教程：https://github.com/HIT-SCIR/ltp/blob/master/docs/quickstart.rst 官方文档：http://ltp.ai/docs/appendix.html 安装 与pyltp不同，ltp4无需安装繁琐的vc环境，也不用考虑python版本对轮子兼容的问题。 pip insta.
哈工大ltp分词
03-08
### 哈工大 LTP 分词使用教程 #### 安装依赖库 为了能够顺利运行哈工大LTP分词功能，需先安装`pyltp`库以及下载对应的模型文件。对于Python环境而言，推荐通过pip来安装所需的包。 ```bash pip install pyltp ``` 确保使用的`pyltp`版本与官方建议相匹配[^3]。 #### 下载并配置模型文件 访问[LTP官网](http://ltp.ai/download.html)，根据实际需求选择合适的LTP版本和模型进行下载。需要注意的是不同版本之间可能存在兼容性差异，因此应当遵循官方给出的最佳实践指南来进行操作。 #### 初始化分词器实例 下面是一段简单的Python代码用于初始化分词器对象： ```python from pyltp import Segmentor segmentor = Segmentor() # 创建一个分词器实例 path_to_model = '/path/to/ltp/model' # 设置模型路径 segmentor.load(path_to_model) # 加载模型 ``` 此处的`/path/to/ltp/model`应替换为本地保存有LTP模型的实际目录位置。 #### 执行分词任务 有了上述准备工作之后就可以调用API接口完成具体的分词工作了: ```python sentence = '欢迎再次来到美丽的香格里拉' words = segmentor.segment(sentence) print("|".join(words)) ``` 以上代码会输出如下结果表示完成了对输入字符串`sentence`的成功分割处理[^1]。 #### 清理资源释放内存空间 当不再需要继续使用分词器时记得及时释放相关联的资源以节省系统开销： ```python segmentor.release() ``` 这样就构成了一个完整的利用哈工大LTP实现中文分词的过程描述[^2]。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GIS从业者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值