ElasticSearch7学习笔记之用Analyzer分词

最新推荐文章于 2024-04-20 14:22:09 发布
最新推荐文章于 2024-04-20 14:22:09 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： ElasticSearch 文章标签： 自然语言处理 elasticsearch 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37475168/article/details/121902572
版权

定义

Analyzer是es中专门用来处理分词的组件，由三部分组成：

  1. Character Filters：针对原始文本的处理，例如去除html等
  2. Tokenizer：按照规则进行分词
  3. Token Filter：将切分的单词进行加工，例如去除修饰性单词等

分词器种类

StandardAnalyzer

在这里插入图片描述
这是默认分词器，按词切分，将字母转换为小写，默认关闭终止词。
使用方法如下：

GET /_analyze
{
  "analyzer": "standard",
  "text": "It`s a good day commander. Let`s do it for 2 times!"
}

结果如下，可见其中的大写字母都被转换成了小写:

{
  "tokens" : [
    {
      "token" : "it",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "s",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "a",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "good",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "<ALPHANUM>",
      "position" : 3
    },
    {
      "token" : "day",
      "start_offset" : 12,
      "end_offset" : 15,
      "type" : "<ALPHANUM>",
      "position" : 4
    },
    {
      "token" : "commander",
      "start_offset" : 16,
      "end_offset" : 25,
      "type" : "<ALPHANUM>",
      "position" : 5
    },
    {
      "token" : "let",
      "start_offset" : 27,
      "end_offset" : 30,
      "type" : "<ALPHANUM>",
      "position" : 6
    },
    {
      "token" : "s",
      "start_offset" : 31,
      "end_offset" : 32,
      "type" : "<ALPHANUM>",
      "position" : 7
    },
    {
      "token" : "do",
      "start_offset" : 33,
      "end_offset" : 35,
      "type" : "<ALPHANUM>",
      "position" : 8
    },
    {
      "token" : "it",
      "start_offset" : 36,
      "end_offset" : 38,
      "type" : "<ALPHANUM>",
      "position" : 9
    },
    {
      "token" : "for",
      "start_offset" : 39,
      "end_offset" : 42,
      "type" : "<ALPHANUM>",
      "position" : 10
    },
    {
      "token" : "2",
      "start_offset" : 43,
      "end_offset" : 44,
      "type" : "<NUM>",
      "position" : 11
    },
    {
      "token" : "times",
      "start_offset" : 45,
      "end_offset" : 50,
      "type" : "<ALPHANUM>",
      "position" : 12
    }
  ]
}

SimpleAnalyzer

按照非字母切分，非字母的都会被去掉，字母则同样会进行小写处理
举例如下:

GET /_analyze
{
  "analyzer": "simple",
  "text": "It`s a good day commander. Let`s do it for 2 times!"
}

输出如下，可见除了单词小写，其中的非字母都被去掉了(数字2):

{
  "tokens" : [
    {
      "token" : "it",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "s",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "a",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "good",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "day",
      "start_offset" : 12,
      "end_offset" : 15,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "commander",
      "start_offset" : 16,
      "end_offset" : 25,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "let",
      "start_offset" : 27,
      "end_offset" : 30,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "s",
      "start_offset" : 31,
      "end_offset" : 32,
      "type" : "word",
      "position" : 7
    },
    {
      "token" : "do",
      "start_offset" : 33,
      "end_offset" : 35,
      "type" : "word",
      "position" : 8
    },
    {
      "token" : "it",
      "start_offset" : 36,
      "end_offset" : 38,
      "type" : "word",
      "position" : 9
    },
    {
      "token" : "for",
      "start_offset" : 39,
      "end_offset" : 42,
      "type" : "word",
      "position" : 10
    },
    {
      "token" : "times",
      "start_offset" : 45,
      "end_offset" : 50,
      "type" : "word",
      "position" : 11
    }
  ]
}

WhitespaceAnalyzer

按照空格切分单词，举例如下:

GET /_analyze
{
  "analyzer": "whitespace",
  "text": "It`s a good day commander. Let`s do it for 2 times!"
}

输出如下，可见It`s、Let`s等都被保留了：

{
  "tokens" : [
    {
      "token" : "It`s",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "a",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "good",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "day",
      "start_offset" : 12,
      "end_offset" : 15,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "commander.",
      "start_offset" : 16,
      "end_offset" : 26,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "Let`s",
      "start_offset" : 27,
      "end_offset" : 32,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "do",
      "start_offset" : 33,
      "end_offset" : 35,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "it",
      "start_offset" : 36,
      "end_offset" : 38,
      "type" : "word",
      "position" : 7
    },
    {
      "token" : "for",
      "start_offset" : 39,
      "end_offset" : 42,
      "type" : "word",
      "position" : 8
    },
    {
      "token" : "2",
      "start_offset" : 43,
      "end_offset" : 44,
      "type" : "word",
      "position" : 9
    },
    {
      "token" : "times!",
      "start_offset" : 45,
      "end_offset" : 51,
      "type" : "word",
      "position" : 10
    }
  ]
}

StopAnalyzer

相比SimpleAnalyzer，多了个stop filter，可以把the、a、is等修饰性的词去掉。举例如下:

GET /_analyze
{
  "analyzer": "stop",
  "text": "It`s a good day commander. Let`s do it for 2 times!"
}

输出如下，可见少了很多修饰性的词:

{
  "tokens" : [
    {
      "token" : "s",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "good",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "day",
      "start_offset" : 12,
      "end_offset" : 15,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "commander",
      "start_offset" : 16,
      "end_offset" : 25,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "let",
      "start_offset" : 27,
      "end_offset" : 30,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "s",
      "start_offset" : 31,
      "end_offset" : 32,
      "type" : "word",
      "position" : 7
    },
    {
      "token" : "do",
      "start_offset" : 33,
      "end_offset" : 35,
      "type" : "word",
      "position" : 8
    },
    {
      "token" : "times",
      "start_offset" : 45,
      "end_offset" : 50,
      "type" : "word",
      "position" : 11
    }
  ]
}

Keyword Analyzer

不分词，直接将输入当成一个term输出。举例如下:

GET /_analyze
{
  "analyzer": "keyword",
  "text": "It`s a good day commander. Let`s do it for 2 times!"
}

输出如下:

{
  "tokens" : [
    {
      "token" : "It`s a good day commander. Let`s do it for 2 times!",
      "start_offset" : 0,
      "end_offset" : 51,
      "type" : "word",
      "position" : 0
    }
  ]
}

Pattern Analyzer

通过正则表达式进行分词，默认用\W+，也就是按照非字母进行分隔。举例如下:

GET /_analyze
{
  "analyzer": "pattern",
  "text": "It`s a good day commander. Let`s do it for 2 times!"
}

这里输出其实和standard是一样的:

{
  "tokens" : [
    {
      "token" : "it",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "s",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "a",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "good",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "day",
      "start_offset" : 12,
      "end_offset" : 15,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "commander",
      "start_offset" : 16,
      "end_offset" : 25,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "let",
      "start_offset" : 27,
      "end_offset" : 30,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "s",
      "start_offset" : 31,
      "end_offset" : 32,
      "type" : "word",
      "position" : 7
    },
    {
      "token" : "do",
      "start_offset" : 33,
      "end_offset" : 35,
      "type" : "word",
      "position" : 8
    },
    {
      "token" : "it",
      "start_offset" : 36,
      "end_offset" : 38,
      "type" : "word",
      "position" : 9
    },
    {
      "token" : "for",
      "start_offset" : 39,
      "end_offset" : 42,
      "type" : "word",
      "position" : 10
    },
    {
      "token" : "2",
      "start_offset" : 43,
      "end_offset" : 44,
      "type" : "word",
      "position" : 11
    },
    {
      "token" : "times",
      "start_offset" : 45,
      "end_offset" : 50,
      "type" : "word",
      "position" : 12
    }
  ]
}

LanguageAnalyzer

es也可以按照语言进行分词:

GET /_analyze
{
  "analyzer": "english",
    "text": "It`s a good day commander. Let`s do it for 2 times!"
}

输出如下，也对修饰性单词进行了过滤:

{
  "tokens" : [
    {
      "token" : "s",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "good",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "<ALPHANUM>",
      "position" : 3
    },
    {
      "token" : "dai",
      "start_offset" : 12,
      "end_offset" : 15,
      "type" : "<ALPHANUM>",
      "position" : 4
    },
    {
      "token" : "command",
      "start_offset" : 16,
      "end_offset" : 25,
      "type" : "<ALPHANUM>",
      "position" : 5
    },
    {
      "token" : "let",
      "start_offset" : 27,
      "end_offset" : 30,
      "type" : "<ALPHANUM>",
      "position" : 6
    },
    {
      "token" : "s",
      "start_offset" : 31,
      "end_offset" : 32,
      "type" : "<ALPHANUM>",
      "position" : 7
    },
    {
      "token" : "do",
      "start_offset" : 33,
      "end_offset" : 35,
      "type" : "<ALPHANUM>",
      "position" : 8
    },
    {
      "token" : "2",
      "start_offset" : 43,
      "end_offset" : 44,
      "type" : "<NUM>",
      "position" : 11
    },
    {
      "token" : "time",
      "start_offset" : 45,
      "end_offset" : 50,
      "type" : "<ALPHANUM>",
      "position" : 12
    }
  ]
}

ICU-Analyzer

这是对中文分词的分词器，要先进行安装:

[es@localhost bin]$ ./elasticsearch-plugin install analysis-icu

-> Installing analysis-icu
-> Downloading analysis-icu from elastic
[=================================================] 100%   
-> Installed analysis-icu

然后重启ES，再做一下测试:

GET /_analyze
{
  "analyzer": "icu_analyzer",
    "text": "这个进球真是漂亮！"
}

输出如下，看来"进球"并没有分割成一个词语:

{
  "tokens" : [
    {
      "token" : "这个",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "进",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "球",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "真是",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    },
    {
      "token" : "漂亮",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    }
  ]
}

配置自定义Analyzer

通过组合CharacterFilter、Tokenizer和TokenFilter来实现自定义Analyzer
自带的CharacterFilter有HTML strip、Mapping和Pattern replace，分别用来进行html标签去除、字符串替换和正则匹配替换
自带的Tokenizer有whitespace、standard、uax_url_email、pattern、keyword、path_hierarchy，也可以用java开发插件，实现自己的tokenizer
自带的TokenFilter有Lowercase、stop、synonym

tokenizer+character_filter

tokenizer和character_filter的组合示例如下:

POST _analyze
{
  "tokenizer": "keyword",
  "char_filter": ["html_strip"],
  "text": "<b>aaa</b>"
}

同样是tokenizer和character_filter的组合，不过可以在character_filter中加入mapping，示例如下:

POST _analyze
{
  "tokenizer": "standard",
  "char_filter": [
    {
      "type": "mapping",
      "mappings": ["- => _"]
    }],
    "text": "1-2, d-4"
}

正则

正则示例如下，$1表示取第几个()里的内容，这里就是www.baidu.com：

POST _analyze
{
  "tokenizer": "standard",
  "char_filter": [{
    "type": "pattern_replace",
    "pattern": "http://(.*)",
    "replacement": "$1"
  }],
  "text": "http://www.baidu.com"
}

路径层次分词器

路径层次分词器如下，把输入/home/szc/a/b/c/e当成目录，然后按照目录的层级进行分词:

POST _analyze{  "tokenizer": "path_hierarchy",  "text": "/home/szc/a/b/c/e"}

输出如下

{
  "tokens" : [
    {
      "token" : "/home",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "/home/szc",
      "start_offset" : 0,
      "end_offset" : 9,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "/home/szc/a",
      "start_offset" : 0,
      "end_offset" : 11,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "/home/szc/a/b",
      "start_offset" : 0,
      "end_offset" : 13,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "/home/szc/a/b/c",
      "start_offset" : 0,
      "end_offset" : 15,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "/home/szc/a/b/c/e",
      "start_offset" : 0,
      "end_offset" : 17,
      "type" : "word",
      "position" : 0
    }
  ]
}

filter组合

filter组合如下，同时进行小写和去除修饰词处理

POST _analyze
{
  "tokenizer": "whitespace",
  "filter": ["lowercase", "stop"],
  "text": "The boys in China are playing soccer!"
}

综合使用

一个组合性的名为my_analyzer的自定义Analyzer如下所示，其中的char_filter、tokenizer、filter都是自定义的，

PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "type": "custom",
          "char_filter": ["emoticons"],
          "tokenizer": "punctuation",
          "filter":[
            "lowercase",
            "english_stop"
            ]
        }
      },
      "tokenizer": {
        "punctuation": {
          "type": "pattern",
          "pattern": "[ .,!?]"
        }
      },
      "char_filter": {
        "emoticons": {
          "type": "mapping",
          "mappings": [
            ":) => happy",
            ":( => sad"]
        }
      },
      "filter": {
        "english_stop": {
          "type": "stop",
          "stopwords": "_english_"
        }
      }
    }
  }
}

使用时加上定义此分词器的文档即可：

POST my_index/_analyze
{
  "analyzer": "my_analyzer",
  "text": "I`m a :) guy, and you ?"
}

输出如下，可见先是完成了表情符替换，又按照指定的正则进行了分词，最后去除了修饰性单词

{
  "tokens" : [
    {
      "token" : "i`m",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "happy",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "guy",
      "start_offset" : 9,
      "end_offset" : 12,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "you",
      "start_offset" : 18,
      "end_offset" : 21,
      "type" : "word",
      "position" : 5
    }
  ]
}

结语

以上就是关于ElasticSearch7的分词器的内容

coder_szc
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
4.通过Analyzer进行分词
Gedeon
07-24 1305
1. Analysis与Analyzer Analysis : 文本分析是吧全文本转换成一系列单词（term/token)的过程，也叫分词 Analysis : 是通过Analyzer来实现的 可使用Elasticsearch内置的分析器/或者按需定制化分析器 除了在数据写入时转换词条，匹配Query语句时候也需要用相同的分析器对查询语句进行分析 2. Analyzer 的组成 分词器...
Elasticsearch之Analyze（分析过程）
热门推荐
飞飞好奇的专栏
02-28 1万+
_analyze是Elasticsearch一个非常有用的API，它可以帮助你分析每一个field或者某个analyzer/tokenizer是如何分析和索引一段文字。 返回结果字段含义： token是一个实际被存储在索引中的词 position指明词在原文本中是第几个出现的 start_offset和end_offset表示词在原文本中占据的位置。 1、默认analyzer GET /_anal...
Elasticsearch的分词技术全面解析
最新发布
专注于数据库技术分享，包含但不限于Oracle，MySQL，PostgreSQL，ElasticSearch及国产数据库等
04-20 1025
是将文本字符串拆分成独立的词汇或术语的过程。在 Elasticsearch 中，分词通常发生在索引文档时，确保搜索时能够匹配到正确的词汇片段。分词的目标是生成有意义的、可比较的 tokens，同时兼顾搜索效率和查询语义理解。Elasticsearch 允许为索引中每个字段指定不同的分析器，以适应各种文本类型和搜索需求。这可以通过在索引映射（mapping）中设置。是分词工作的核心，它包含了一个完整的文本分析流程。响应将包含分词后的 tokens 列表，帮助验证分析器配置是否符合预期。
Elasticsearch之Analyzer分词器介绍
weixin_44692700的博客
12-21 2378
Analysis Analysis文本分析，也叫分词，是把全文本转换为一系列单词的过程。 Analyzer叫做分词器。Analysis是通过Analyzer来实现的，ES当中内置了很多分词器，同时我们也可以按需定制化分词器。 分词器的作用，除了在数据写入时对需要分词的字段进行词条切分转换，同时匹配Query语句的时候也需要使用相同的分词器对查询语句进行分析。 例如： Elasticsearch is fun这个文本就会被分词器切分成，elasticsaerch、is、fun三个单词。 Analyzer的组成
elasticsearch的分词
larance的挨踢生活
04-29 336
Elasticsearch 中文搜索时遇到几个问题: 当搜索关键词如：“人民币”时，如果分词将“人民币”分成“人”，“民”，“币”三个单字，那么搜索该关键词会匹配到很多包含该单字的无关内容,但是如果将该词分词成一个整词“人民币”，搜索单字如“人”字又不会匹配到包含“人民币”关键词的内容,怎么解决这个问题,既保证覆盖度又保证准确度? 搜索“RMB”时只会匹配到包含“RMB”关键词的内容，实际上，“RMB”和“人民币”是同义词，我们希望用户搜索“RMB”和“人民币”可以相互匹配，ES同义词怎么
3.ElasticSearch分词器，包括默认分词器、英文分词器、中文分词器
名猿陈大浏的博客
08-28 7573
导图（用于总结和复习） ​ ​ 注：使用 GET /test/_analyze 可以使用分词器查看分词结果，例： 以上用例是使用 analyzer 指定英文分词器查看分词结果，如果field是索引里的字段，会使用字段指定的分词器进行分词。 接下来进入测试。 默认分词器 默认使用standar分词器 在不标明的时候都是使用默认的standar分词 在建索引的时候，使用 analyzer 指定字段分词器 测试数据： #1.删除 /test下的测试数据 DELETE /test/
ElasticSearch 学习笔记
01-20
在 ElasticSearch 7.x 及以上版本，不再支持多类型（Type），所有文档直接存储于 Index 下。`Document` 是文档，它是存储数据的基本单元，由多个字段（Field）组成。`Field` 是文档内的属性，每个文档都有一个唯一的...
elasticsearch7.17.11版本分词器插件安装包
11-13
IK分词器（Intelligent Chinese Analyzer for Elasticsearch）是为Elasticsearch设计的一款强大、灵活且高效的中文分词插件。它支持自定义扩展词典、同义词扩展、动态词典加载等功能，能更好地适应中文的复杂语境。 ...
ElasticSearch学习笔记
04-11
ElasticSearch学习笔记
Elasticsearch入门学习笔记
06-28
这篇入门学习笔记将引导初学者了解如何安装、配置以及使用Elasticsearch。 首先，让我们从安装开始。要安装Elasticsearch，你可以访问官方网站（https://www.elastic.co/cn/downloads/elasticsearch）下载最新版本...
elasticsearch7.17.8版本分词器插件安装包
11-13
本篇将详细介绍如何在Elasticsearch 7.17.8版本上安装和使用分词器插件。 **一、分词器插件的重要性** 在Elasticsearch中，分词器（Analyzer）负责对索引和查询的文本进行分析，将其拆分成一系列的分词。对于中文...
Elasticsearch分词器
qq_44918331的博客
12-11 2205
Elastic入门教程（三） ES内置的6种分词器 standard analyzer 标准分词器，未设置分词器时默认使用此分词器。在空格、符号处切，中文部分切割为一个一个的汉字。 切的意思是不要了。多个连续的空格算一个空格，符号指的是！、？、@、。等 “h!ello wo2rld a b我是a中国人d” => h ello wo2rld a b 我 是 a 中 国 人 simple analyzer 简单分词器。在空格、符号、数字处切，中文部分不会切割为一个一个的
Elasticsearch对数字，英文字母等的分词N-gram tokenizer
haixin_wu的博客
04-14 4385
Elasticsearch中提供了一个叫N-gram tokenizer的分词器，官方介绍如下 N-gram tokenizer Thengramtokenizer first breaks text down into words whenever it encounters one of a list of specified characters, then it emitsN-gramsof each word of the specified length. N-grams are ...
ElasticSearch IK分词器配置远程词典
weixin_46273997的博客
08-09 3076
ElasticSearch IK分词器配置远程词典1.在线安装IK分词器2.IK分词器的弊端3.解决措施,配置远程词典实时更新补充 1.在线安装IK分词器 ElasticSearch中默认的分词器是standard,该分词器对中文按字分词,对英文按单词分词 GET /_analyze { "text": "我是一个杠精,hello world!" } 结果 { "tokens" : [ { "token" : "我", "start_offset" : 0,
Elasticsearch Analyzer 内置分词器
qq_34285557的博客
11-04 2012
Elasticsearch Analyzer 内置分词器 篇主要介绍一下 Elasticsearch中 Analyzer 分词器的构成 和一些Es中内置的分词器 以及如何使用它们 前置知识 es 提供了 analyze api 可以方便我们快速的指定 某个分词器 然后对输入的text文本进行分词 帮助我们学习和实验分词器 POST _analyze { "analyzer": "standard", "text": "Th
ElasticSearch 实战： ES 分析 ( Analysis )
qq_33240556的博客
04-06 821
Elasticsearch 分析（Analysis）是 Elasticsearch 全文搜索功能的核心组成部分，它负责将文本数据转换成可搜索的索引项。分析过程中涉及文本的预处理、分词、过滤、标记化等步骤，使得用户能够有效地对文本内容进行查询、筛选和聚合。通过上述实战指南，您可以了解如何在 Elasticsearch 中定义、使用和测试分析器，以满足特定文本数据的索引和搜索需求。: 默认的全文分析器，适用于大多数西方语言。词语过滤器对分词后的词汇单元进行进一步处理，如大小写转换、词形还原、同义词扩展等。
ES之分析器(Analyzer)
u011250186的博客
07-10 5186
ES-分词器(Analyzer)
Elasticsearch Analysis
深页
01-26 233
Analyzer 的组成 分词器是专门处理分词的组件，Analyzer 由三部分组成 Character Filters - 针对原始文本处理，例如去除 html Tokenizer - 按照规则切分为单词 Token Filter - 将切分的单词进行加工，小写，删除 stopwords，增加同义词 Elasticsearch 内置分析器 分析器 作用 Standard ...
Elasticsearch(三)----Elasticsearch中默认的分词器
Apple_Andy的博客
11-15 2631
一.standard analyzer—标准的分词器 处理英语语法的分词器。切分后的key_words：set, the, shape, to, semi, transparent, by, calling, set_trans, 5。这种分词器也是Elasticsearch中默认的分词器。切分过程中不会忽略停止词（如：the、a、an等）。会进行单词的大小写转换、过滤连接符（-）或括号等常见符号。 二.simple analyzer — 简单分词器 切分后的key_words：set, the, shap
Elasticsearch06：Elasticsearch分词详解：ES分词介绍、倒排索引介绍、分词器的作用、停用词
weixin_40612128的博客
03-16 5504
一、ES分词介绍 ES中在添加数据，也就是创建索引的时候，会先对数据进行分词。 在查询索引数据的时候，也会先根据查询的关键字进行分词。 所以在ES中分词这个过程是非常重要的，涉及到查询的效率和准确度。 假设有一条数据，数据中有一个字段是titile，这个字段的值为LexCorp BFG-9000。 我们想要把这条数据在ES中创建索引，方便后期检索。 创建索引和查询索引的大致流程是这样的： 图中左侧是创建索引的过程： 首先对数据进行空白字符分割，将LexCorp BFG-9000切分为LexCorp和BFG

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值