elasticsearch 分析器

原创 2018年04月17日 17:41:22

一、Elasticsearch的分析器(analyzer)包括三部分:

    1、字符过滤器:他们的任务是在分词前整理字符串。一个字符过滤器可以用来去掉HTML,或者将 & 转化成 `and`等。

    2、分词器:简单的分词器遇到空格或标点的时候讲文本拆分为词条(Token)。

    3、Token过滤器:改变词条(eg: Quick --> quick);删除词(eg: a ,the ,and); 增加同义词(eg: jump == leap)

------------以上是elasticsearch权威指南中内容,适用用于西文字符-------------

二、适用于中文分词的,目前网上看到最多的是IKAnalyzer。

    IKAnalyzer分词器采用的是“正向迭代最细粒度切分算法”。有两种可选模式 :细粒度(ik_max_word)和最大词长(ik_smart)。以“人民大会堂”为例:

采用ik_max_word模式的分词结果为:人民大会堂、人民大会、人民、大会、大会堂、大会、堂。

采用ik_smart模式的分词结果为:人民大会堂。

elasticsearch查询语句为:

curl -XGET '10x.200.x65.x27:9201/_analyze?pretty' -H 'Content-Type: application/json' -d'
{
  "analyzer": "ik_max_word",
  "text": "人民大会堂"
}'

curl -XGET '10x.200.x65.x27:9201/_analyze?pretty' -H 'Content-Type: application/json' -d'
{
  "analyzer": "ik_smart",
  "text": "人民大会堂"
}'

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sangyongjia/article/details/79977789

elasticsearch-自定义分析器

自定义分析器 虽然Elasticsearch带有一些现成的分析器,然而在分析器上Elasticsearch真正的强大之处在于,你可以通过在一个适合你的特定数据的设置之中组合字符过滤器、分词器、词...
  • chuan442616909
  • chuan442616909
  • 2017-01-13 12:43:47
  • 1218

Elasticsearch-4种内置分析器

新手需要特别注意ES中内置的分析器,否则查询结果很可能不是预期的,分析器它直接影响到Search与Index操作。Built-in AnalyzersHowever, Elasticsearch al...
  • xifeijian
  • xifeijian
  • 2016-03-03 23:38:42
  • 9378

Elasticsearch(自定义分析器)

自定义分析器 虽然Elasticsearch内置了一系列的分析器,但是真正的强大之处在于定制你自己的分析器。你可以通过在配置文件中组合字符过滤器,分词器和表征过滤器,来满足特定数据的需求。 分...
  • qq_36657751
  • qq_36657751
  • 2017-11-28 16:13:42
  • 134

[ElasticSearch2.x]分析与分析器(Analyzer)

1. 分析过程 分析(analysis)是这样一个过程: (1)首先,标记化一个文本块为适用于倒排索引单独的词(term) (2)然后标准化这些词为标准形式,提高它们的“可搜索性”或“查全率”...
  • SunnyYoona
  • SunnyYoona
  • 2016-10-19 10:43:23
  • 2590

Elasticsearch - 指定分析器

全文搜索引擎会用某种算法对要建索引的文档进行分析, 从文档中提取出若干Token(词元), 这些算法称为Tokenizer(分词器);这些Token会被进一步处理, 比如转成小写等,这些处理算法被称为...
  • WSYW126
  • WSYW126
  • 2017-05-02 13:30:28
  • 2447

Elasticsearch(九)【NEST高级客户端--分析器】

分析分析是将文本(如任何电子邮件的正文)转换为添加到反向索引中进行搜索的tokens 或terms 的过程。 分析由analyzer 执行,分析器可以是内置分析器或每个索引定义的定制分析器。 书写分析...
  • WuLex
  • WuLex
  • 2017-05-07 22:53:06
  • 1013

elasticsearch自定义分析器

自定义分词器
  • u012307002
  • u012307002
  • 2016-05-02 21:51:31
  • 756

Elasticsearch实现变态的精确匹配,配置分析器

// 本来es搜索引擎可以支持的是语义的模糊搜索,但是有些需求要求精确搜索匹配,用自定义的配置分析器可以实现精确搜索 https://www.elastic.co/guide/en/elastics...
  • liangxw1
  • liangxw1
  • 2018-03-30 14:53:22
  • 49

Elasticsearch-自定义分析器

全文搜索引擎会用某种算法对要建索引的文档进行分析, 从文档中提取出若干Token(词元), 这些算法称为Tokenizer(分词器);这些Token会被进一步处理, 比如转成小写等, 这些处理算法被称...
  • andyzhaojianhui
  • andyzhaojianhui
  • 2017-12-16 11:44:36
  • 153

Elasticsearch之分析(analysis)和分析器(analyzer)。

博文中的内容来源《Elasticsearch权威指南(中文版)》这一本书,感激不尽。
  • en_joker
  • en_joker
  • 2017-09-16 11:44:17
  • 481
收藏助手
不良信息举报
您举报文章:elasticsearch 分析器
举报原因:
原因补充:

(最多只允许输入30个字)