hanlp提高自定义词典优先级

最新推荐文章于 2023-01-03 18:14:44 发布
最新推荐文章于 2023-01-03 18:14:44 发布
阅读量1.9k 收藏
点赞数
分类专栏： 大数据基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fall_hat/article/details/103079574
版权 
Segment shortestSegment = new NShortSegment().enableCustomDictionary(true).enableCustomDictionaryForcing(true).enablePlaceRecognize(true).enableOrganizationRecognize(true);
List<Term> termList = shortestSegment.seg(text);
        ```
fall_hat
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
自定义词典匹配优先级_Hanlp配置自定义词典遇到的问题与解决方法
weixin_39776787的博客
12-03 667
本文是整理了部分网友在配置hanlp自定义词典时遇到的一小部分问题，同时针对这些问题，也提供另一些解决的方案以及思路。这里分享给大家学习参考。要使用hanlp加载自定义词典可以通过修改配置文件hanlp.properties来实现。要注意的点是: 1.root根路径的配置: hanlp.properties中配置如下: #本配置文件中的路径的根目录，根目录+其他路径=完整路径（支持相对路径） #W...
HanLP分词+用户自定义词典
热门推荐
GreatXiang888的博客
01-14 1万+
文章目录1. 分词重要性2. 词典说明2.1 CustomDictionary2.2 追加词典 前面谈到分词： HanLP安装与使用-python版和java版 pynlpir中文分词+加载用户自定义词典 我比较喜欢用HanLP，它的粒度刚刚好。 pynlpir太细了，词全切开了。 1. 分词重要性 分错了可不好搞。 资料： demo_custom_dictionary.py - github...
java hanlp自定义词典
Eadon999
12-03 1696
import com.hankcs.hanlp.HanLP; import com.hankcs.hanlp.seg.Segment; /** * @Auther: Don * @Date: 2019/12/110:17 * @Description: */ public class HanlpSegmentCustom { private Segment SEGMENT; ...
Hanlp之理解用户自定义词典（java版本）
BATP2516的博客
09-18 3782
首先说明，由于本人水平有限，文章纰漏以及不妥之处还请指出，不胜感激； 理解hanlp中用户自定义词典（java） 什么是hanlp用户自定义字典？为什么要有用户自定义词典？ 在Hanlp分词中，不管是标准分词器、NLP分词器还是索引分词器都不可能准确的将我们希望的结果词语分出来，尤其是我们平常用到的自定义名词或者流行语，比如：“印象笔记”、“奥利给”等，分析语句一长，分词准确性还会继续下降，这时就需要我们利用用户自定义词典，来进行这些词语的记录，方便分词器依据用户词典来进行分词，提高准确度。 用户
kangle代理服务器限制客户端使用时间
weixin_33816821的博客
05-12 277
由于部分原因，公司要求一部分机器，在上午这段时间是可以上网的，而下午是不能上外网的。 为了达到这个要求，有很多的方法可以实现。因为最近一直在使用kangle的软件，所以就用kangle的软件来实现此功能。 有关kangle的软件，我在此前的文章介绍过了，特别是web服务器这块介绍的比较多一些，代理服务器相对来说比较少一些，而kangle的官网对这方面的资...
【Java学习笔记三】使用自定义词典进行Hanlp分词
weixin_41907410的博客
04-23 3118
如果使用maven直接配置Hanlp的话，没找到可以使用自定义词典的方法，所以导入hanlp-1.7.2.jar包进行配置。 1.下载jar、data、hanlp.properties。下载地址 2.在hanlp.properties中修改root地址，为data包的上一级目录。 3.按照java提示将hanlp.properties放到项目相应位置。 4.在\data\dictionary\cu...
java调用Hanlp分词器获取词性；自定义词性字典
Fan_JiGang的博客
07-20 4420
最近有个需求，要机器解读用户输入的一段话，找出输入内容的构成（名词、动词、形容词、地名、人名等）以便进一步的处理。 因为以前用过ElasticSearch，所以第一时间想到的就是IK中文分词器，但是这样处理只能得到一系列的词，想要知道词性还有自行处理，工作量太大。后来搜到Hanlp分词器也能实现分词，而且可以获得词性，可以一试： 一、配置pom，导包： <dependency> <groupId>com.hankcs</groupId> <a
java应用集成HanLP进行中文自然语言分词详细完整案例以及demo源码
峡谷电光马仔的博客
01-03 8804
java应用集成HanLP进行中文自然语言分词详细完整案例以及demo，什么是自然语言，什么是自然语言分词及例子 ，实现自然语言分词的一些框架，hanLP介绍以及优点，java应用程序集成hanLP实现自然语言分词，面向生产环境的多语种自然语言处理工具包，基于PyTorch和TensorFlow 2.x双引擎，目标是普及落地最前沿的NLP技术。HanLP具备功能完善、精度准确、性能高效、语料时新、架构清晰、可自定义的特点
jieba分词的自定义词典文档 完整版
12-08
jieba分词的自定义词典：使用jieba分词对语料进行分词之前，需要先载入，载入代码为jieba.load_userdict("userdict.txt")。
社会科学相关自定义词典
11-05
社会科学相关自定义词典，共31万词，每行一个词，不重复
自然科学相关自定义词典
11-02
自然科学相关的一些词，共有34万个不同的词，都是自然科学相关的
python加载自定义词典实例
09-18
今天小编就为大家分享一篇python加载自定义词典实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
准确分词之动态调整词频和字典顺序
weixin_38241876的博客
05-05 612
#-*- coding=utf8 -*- import jieba import re from tokenizer import cut_hanlp # jieba.load_userdict("dict.txt") # # 设置高词频：一个 # jieba.suggest_freq('台中',tune=True) # 设置高词频：dict.txt中的每一行都设置一下 # fp=ope...
开源Hanlp自然语言处理Java实现（词法分析、关键词）
qq_42730163的博客
06-26 6619
开源Hanlp自然语言处理Java实现（词法分析、关键词）Hanlp自然语言介绍开源动态Hanlp Java实现通过Maven的pom.xml结合Data数据包使用hanlp Hanlp自然语言 介绍 HanLP是由一系列模型与算法组成的Java工具包，目标是促进自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 开源动态 官网：https://www.hanlp.com/ 开源地址： 码农场：http://www.hankcs.com/nlp/hanlp
【开发经验】布隆过滤去进行敏感词过滤
叁滴水 的博客
09-29 1936
使得互联网纯净，肯定会遇到敏感词过滤，如何认定这个词是敏感词，就尤为重要。比如： `黄色`可不可以认为是一个敏感词，但是天气预报中，也有黄色警报呀。`我操`这个肯定是了，但是`我 操`中间加个空格呢？加了空格就增加了检测的难度。检测的方式有很多种，使用布隆过滤器可以在简单的情况下，实现快速过滤。
Kettle windows安装及运行spoon.bat时Kettle无法启动问题解决
fall_hat的博客
06-09 4256
下载kettle https://sourceforge.net/projects/pentaho/files/Data%20Integration/ 解压 运行 spoon.bat 如果启动不了，dos界面一闪而过，则修改spoon.bat if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024" "-Xmx2048m" "-XX:MaxPermSize=256m" 改为 if "%PENTAHO_DI_JAV.
如何使用hanlp用户自定义近义词计算两个字符串的相似度
最新发布
06-03
使用 HanLP 计算两个字符串的相似度，可以先将两个字符串分别进行分词，然后使用词向量计算它们的相似度。如果需要考虑近义词的影响，可以使用 HanLP 提供的用户自定义词典功能，将近义词添加到词典中，这样相似的词就可以被认为是等价的。 具体步骤如下： 1. 导入 HanLP 的相关模块 ```python from pyhanlp import HanLP, JClass ``` 2. 加载预训练的词向量模型 ```python WordVectorModel = JClass('com.hankcs.hanlp.mining.word2vec.WordVectorModel') model_path = 'your_word2vec_model_path' model = WordVectorModel(model_path) ``` 3. 加载自定义的词典 ```python CustomDictionary = JClass('com.hankcs.hanlp.dictionary.CustomDictionary') CustomDictionary.add('近义词1') CustomDictionary.add('近义词2') ... ``` 4. 对两个字符串进行分词，并使用词向量计算它们的相似度 ```python def similarity(s1, s2): vec1 = None vec2 = None for term in HanLP.segment(s1): word = term.word if vec1 is None: vec1 = model.getWordVector(word) else: vec1 = vec1 + model.getWordVector(word) for term in HanLP.segment(s2): word = term.word if vec2 is None: vec2 = model.getWordVector(word) else: vec2 = vec2 + model.getWordVector(word) if vec1 is None or vec2 is None: return 0.0 return model.similarity(vec1, vec2) ``` 在这个函数中，我们首先将两个字符串进行分词，并将每个词的词向量相加，得到整个字符串的向量表示。然后使用词向量模型的 `similarity` 函数计算两个向量的相似度。 需要注意的是，如果两个字符串中都没有出现在词向量模型中的词，那么它们的相似度将为0。因此，实际使用中需要保证词向量模型的覆盖率足够高。 另外，HanLP 还提供了更高级的文本相似度计算功能，例如基于词汇、句法和语义的相似度计算方法。如果需要更加准确的相似度计算，可以参考 HanLP 的官方文档进行实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值