【Elasticsearch】中文分词器比对表

最新推荐文章于 2021-10-09 10:36:25 发布
最新推荐文章于 2021-10-09 10:36:25 发布
阅读量255 收藏
点赞数
分类专栏： 大数据-Elasticsearch
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/118807880
版权
大数据-Elasticsearch 专栏收录该内容
561 篇文章 547 订阅 ¥79.90 ¥99.00
订阅专栏
本文将对Elasticsearch中常用的中文分词器进行对比，包括它们的特点、适用场景和性能等方面，帮助读者选择合适的分词解决方案。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

分词器 分词粒度 出错情况 支持处理字符 新词识别 词性标注 认证方法 接口
BosonNLP 多选择 无 识别繁体字 有 有 Token RESTful
IKAnalyzer 多选择 无 兼容韩文日文 有 无 无 Jar
NLPIR 多选择 中文间隔符 未知 有 有 无 多语言接口
SCWS 多选择 无 未知 有 有 无 PHP、Cli
结巴分词 多选择 无 识别繁体字 有 有 无 Pyt
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
10大Java开源中文分词器的使用方法和分词效果对比
yjl33的专栏
06-14 1万+
原文地址：http://my.oschina.net/apdplat/blog/412921 本文的目标有两个： 1、学会使用10大Java开源中文分词器 2、对比分析10大Java开源中文分词器的分词效果 本文给出了10大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。 10大Java开源中文分词器，
为Elasticsearch添加中文分词，对比分词器效果
aisuixi4845的博客
08-13 148
转自：http://keenwon.com/1404.html 为Elasticsearch添加中文分词，对比分词器效果 Posted in 后端 By KeenWon On 2014年12月12日 Views: 2,930 Elasticsearch中，内置了很多分词器（analyzers），例如standard （标准分词器）、english （英文分词）和chinese...
ElasticSearch 中文分词器对比
jesseXu的博客
10-09 2436
常用的中文分词器 Smart Chinese Analysis：官方提供的中文分词器，不好用。 IK Analyzer：免费开源的java分词器，目前比较流行的中文分词器之一，简单、稳定，想要特别好的效果，需要自行维护词库，支持自定义词典。 结巴分词：开源的python分词器，github有对应的java版本，有自行识别新词的功能，支持自定义词典。 Ansj中文分词：基于n-Gram+CRF+HMM的中文分词的java实现，免费开源，支持应用自然语言处理。 hanlp：免费开源，国人自然处理语言牛人无私奉献
中文分词器对比
weixin_34004576的博客
04-13 93
2019独角兽企业重金招聘Python工程师标准>>> ...
ElasticSearch 之中文分词器
ywl470812087的博客
01-02 513
4，中文分词器 4.1. smartCN（这个是参照别人的安装方法安装的有兴趣可以试一下） 一个简单的中文或中英文混合文本的分词器 这个插件提供smartcnanalyzer 和smartcn_tokenizertokenizer，而且不需要配置 # 安装 bin/elasticsearch-plugin install analysis-smartcn # 卸载 bin/el...
Elasticsearch系列---使用中文分词器
黄鹰的专栏
03-28 904
前言 前面的案例使用standard、english分词器，是英文原生的分词器，对中文分词支持不太好。中文作为全球最优美、最复杂的语言，目前中文分词器较多，ik-analyzer、结巴中文分词、THULAC、NLPIR和阿里的aliws都是非常优秀的，我们以ik-analyzer作为讲解的重点，其它分词器可以举一反三。 概要 本篇主要介绍中文分词器ik-analyzer的安装使用、自定义词库以及热...
es安装IK中文分词器
congge
07-25 9586
没有中文分词器，我们使用es的时候会觉得乐趣少了很多，同时在业务中也有很多不方便的地方，es中对于字符串的默认内置分词是standard类型的，但是这对于中文来说就无能为力了，下面简单介绍一下es中怎么安装IK分词器插件； 1、首先我们需要获取IK分词器的zip包，获取包的步骤如下， （1）git clone https://github.com/medcl/elasticsearch-analy...
es ik分词器实现敏感词
最新发布
09-09
要实现敏感词过滤，可以使用 Elasticsearch 提供的 ik 分词器。ik 分词器是一个开源的中文分词器，支持中文文本的分词和关键词提取。 首先，您需要安装并配置 Elasticsearch 和 ik 分词器。然后，在创建索引时，将...
Elasticsearch的开源中文分词器 IK Analysis.zip
07-19
IK中文分词器在Elasticsearch上的使用。原生IK中文分词是从文件系统中读取词典，es-ik本身可扩展成从不同的源读取词典。目前提供从sqlite3数据库中读取。es-ik-plugin-sqlite3使用方法： 1. 在elasticsearch.yml中设置你的sqlite3词典的位置：ik_analysis_db_path: /opt/ik/dictionary.db 我提供了默认的词典：https://github.com/zacker330/es-ik-sqlite3-dictionary 2. 安装（目前是1.0.1版本）./bin/plugin -i ik-analysis -u https://github.com/zacker330/es-ik-plugin-sqlite3-release/raw/master/es-ik-sqlite3-1.0.1.zip 3. 现在可以测试了：     1. 创建index curl -X PUT -H "Cache-Control: no-cache" -d '{     "settings":{         "index":{             "number_of_shards":1,             "number_of_replicas": 1         }     } }' 'http://localhost:9200/songs/'      2. 创建map: curl -X PUT -H "Cache-Control: no-cache" -d '{         "song": {             "_source": {"enabled": true},             "_all": {                 "indexAnalyzer": "ik_analysis",                 "searchAnalyzer": "ik_analysis",                 "term_vector": "no",                 "store": "true"             },             "properties":{                 "title":{                     "type": "string",                     "store": "yes",                     "indexAnalyzer": "ik_analysis",                     "searchAnalyzer": "ik_analysis",                     "include_in_all": "true"                 }             }         } }     ' 'http://localhost:9200/songs/_mapping/song'       3.curl -X POST  -d '林夕为我们作词' 'http://localhost:9200/songs/_analyze?analyzer=ik_analysis' response: {"tokens":[{"token":"林夕","start_offset":0,"end_offset":2,"type":"CN_WORD","position":1},{"token":"作词","start_offset":5,"end_offset":7,"type":"CN_WORD","position":2}]} 标签：中文分词  分词插件
pinyin-plus：简繁体汉字转拼音的项目，解决多音字的问题。ElasticSearch，solr的拼音分词工具
03-03
拼音加 汉字转拼音的库，有如下特点 拼音数据基于 ， 开放词库 基于拼音词库的数据初始化分词引擎进行分词，正确度高，解决多音字的问题 支持繁体字 支持自定义词库，词库格式同cc-cedict字典格式 api简单，分为普通模式，索引模式 使用场景 汉字转拼音，常用于索引引擎场景创建拼音的索引，这个场景的问题一般由两种实现路径，一种是直接使用带拼音的分词插件，会自动帮你创建出拼音的索引，还有一种就是自己将汉字转换为拼音字符串，采用间隔分隔分词来达到自定义化索引的目的。恰恰是实现路径，都离不开分词和拼音转换。pinyin pinyin-plus的特点是，索引分词的词库和拼音的词库是基于同一套词库，所以多音词的准确度特别高，而且词库的格式保留了开源词典的格式，词库可以轻松的定时更新。同时也替换了自定义词库的扩展界面，保留定制化需求的高优先级 表现 测试服务参见：src / test / java
elasticsearch 简体、繁体转化插件
11-20
elastic search 7.x主要用于anayler分析器，建立索引，搜索的时候可以直接用简体搜索。简体可以搜索到繁体的对应内容。
盘古分词+lucnene.net搜索引擎开发demo及资料
11-15
盘古分词+lucnene.net搜索引擎开发demo及资料，辛苦搜集物有所值
IK中文分词器原理
wl044090432的博客
05-12 9078
目录 IK中文分词器原理... 1 1.字符类型分类... 1 2.分词大致流程... 2 3.子分词器... 3 3.1 LetterSegmenter. 5 3.2 CN_QuantifierSegmenter. 7 3.3 CJKSegmenter. 10 4.歧义词处理策略... 13 4.1 ik_max_word. 14 4.2 ik_
ES中精确查询被分词字段
热门推荐
jialiang的博客
05-21 1万+
项目中，需要精确查询的一个ES字段，为text类型，text是要被分词的，整个字符串根据一定规则分解一个个term。因此一般情况下，text类型的字段，不能精确查询，keyword类型的可以使用termQuery查询。 这种情况下可以使用matchPhrasePrefixQuery（...）来精确查询被分词的字段，然后再过滤一次。 代码如下： public long countBy...
中文分词器性能比较
06-07 1万+
原文： http://www.cnblogs.com/wgp13x/p/3748764.html 摘要：本篇是本人在Solr的基础上，配置了中文分词器，并对其进行的性能测试总结，具体包括 使用mmseg4j、IKAnalyzer、Ansj，分别从创建索引效果、创建索引性能、数据搜索效率等方面进行衡量。   具体的Solr使用方法假设读者已有了基础，关于So
6大中文分词工具测试比较
xiaobaizaza_Ry的博客
04-08 3932
中文分词工具比较 6大中文分词器测试（jieba、FoolNLTK、HanLP、THULAC、nlpir、ltp） 哈工大LTP、中科院计算所NLPIR、清华大学THULAC和jieba 个人接触的分词器 安装 调用 jieba“结巴”中文分词：做最好的 Python 中文分词组件https://github.com/fxsjy/jieba THULAC清华大学：一个高效的中文词法分析工具包 ht...
ElasticSearch最全分词器比较及使用方法【转载】
JavaPub
06-18 999
https://blog.csdn.net/ZYC88888/article/details/83620572 elasticsearch调用方法api https://es.quanke.name/document-apis/index-api.html
【Elasticsearch】Elasticsearch 分词器对比
叁滴水 的博客
07-20 1976
文章目录索引信息查询分词处理1.standard分词器2.english分词器3.ik分词器 索引信息查询 GET /{索引名称}例如/elktable。 { "elktable": { "aliases": {}, "mappings": { // 索引字段信息 "properties": { "@timestamp": { "type": "date"
elasticsearch 中文分词器
08-23
Elasticsearch 提供了多种中文分词器，可以用于处理中文文本的索引和搜索。以下是一些常用的中文分词器： 1. ik 分词器：ik 是一个开源的中文分词器，支持细粒度和维度更高的中文分词。它可以根据用户自定义的词典...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值