Eelasticsearch 多字段特性及 Mapping 中配置自定义 Analyzer详解

最新推荐文章于 2022-06-28 17:21:01 发布
最新推荐文章于 2022-06-28 17:21:01 发布
阅读量1k 收藏 2
点赞数 1
分类专栏： elk 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xixihahalelehehe/article/details/109476672
版权

文章目录

1. 多字段特性

1.厂家名字实现精确匹配

  • 增加一个 keyword 字段

2.使用不同的 analyzer

  • 不同语言
  • pinyin 字段的搜索
  • 还支持为搜索和索引指定不同的 analyzer
    在这里插入图片描述

2. Excat values(精词) v.s Full Text（全文本）

  • Excat Values ：包括数字 / 日期 / 具体一个字符串 （例如 “Apple Store”）
    Elasticsearch 中的 keyword
  • 全文本，非结构化的文本数据
    Elasticsearch 中的 text
    在这里插入图片描述

3. Excat values不需要分词

Elaticsearch 为每一个字段创建一个倒排索引
Exact Value 在索引时，不需要做特殊的分词处理

在这里插入图片描述

4. 自定义分词器

当 Elasticsearch 自带的分词器无法满足时，可以自定义分词器。通过自组合不同的组件实现：

  • Character Filter
  • Tokenizer
  • Token Filter

4.1 Character Filters

在 Tokenizer 之前对文本进行处理，例如增加删除及替换字符。可以配置多个 Character Filters。会影响 Tokenizer 的 position 和 offset 信息
一些自带的 Character Filters：

  • HTML strip - 去除 html 标签
  • Mapping - 字符串替换
  • Pattern replace - 正则匹配替换

4.2 Tokenizer

  • 将原始的文本按照一定的规则，切分为词（term or token）
  • Elasticsearch 内置的 Tokenizers：whitespace | standard | uax_url_email | pattern | keyword | path hierarchy
  • 可以用 JAVA 开发插件，实现自己的 Tokenizer

4.3 Token Filters

  • 将 Tokenizer 输出的单词，进行增加、修改、删除
  • 自带的 Token Filters：Lowercase |stop| synonym（添加近义词）

5. Tokenizer

5.1 Tokenizer与char_filter

5.1.1 使用keyword与html_strip方法处理网页
POST _analyze
{
"tokenizer":"keyword",
"char_filter":["html_strip"],
"text": "<b>hello world</b>"
}
//结果
{
"tokens" : [
  {
    "token" : "hello world",
    "start_offset" : 3,
    "end_offset" : 18,
    "type" : "word",
    "position" : 0
  }
]
}
5.1.2 使用 standard与mapping 方法进行替换

standard:按词切分，小写处理

POST _analyze
{
"tokenizer": "standard",
"char_filter": [
    {
      "type" : "mapping",
      "mappings" : [ "- => _"]
    }
  ],
"text": "123-456, I-test! test-990 650-555-1234"
}
//返回
{
"tokens" : [
  {
    "token" : "123_456",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<NUM>",
    "position" : 0
  },
  {
    "token" : "I_test",
    "start_offset" : 9,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  },
  {
    "token" : "test_990",
    "start_offset" : 17,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 2
  },
  {
    "token" : "650_555_1234",
    "start_offset" : 26,
    "end_offset" : 38,
    "type" : "<NUM>",
    "position" : 3
  }
]
}
5.1.3 standard与mapping替换表情符号
 POST _analyze
{
"tokenizer": "standard",
"char_filter": [
    {
      "type" : "mapping",
      "mappings" : [ ":) => happy", ":( => sad"]
    }
  ],
  "text": ["I am felling :)", "Feeling :( today"]
}
//返回
{
"tokens" : [
  {
    "token" : "I",
    "start_offset" : 0,
    "end_offset" : 1,
    "type" : "<ALPHANUM>",
    "position" : 0
  },
  {
    "token" : "am",
    "start_offset" : 2,
    "end_offset" : 4,
    "type" : "<ALPHANUM>",
    "position" : 1
  },
  {
    "token" : "felling",
    "start_offset" : 5,
    "end_offset" : 12,
    "type" : "<ALPHANUM>",
    "position" : 2
  },
  {
    "token" : "happy",
    "start_offset" : 13,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 3
  },
  {
    "token" : "Feeling",
    "start_offset" : 16,
    "end_offset" : 23,
    "type" : "<ALPHANUM>",
    "position" : 104
  },
  {
    "token" : "sad",
    "start_offset" : 24,
    "end_offset" : 26,
    "type" : "<ALPHANUM>",
    "position" : 105
  },
  {
    "token" : "today",
    "start_offset" : 27,
    "end_offset" : 32,
    "type" : "<ALPHANUM>",
    "position" : 106
  }
]
}
5.1.4 standard与正则表达式pattern_replace
GET _analyze
{
"tokenizer": "standard",
"char_filter": [
    {
      "type" : "pattern_replace",
      "pattern" : "http://(.*)",
      "replacement" : "$1"
    }
  ],
  "text" : "http://www.elastic.co"
}
//返回
{
"tokens" : [
  {
    "token" : "www.elastic.co",
    "start_offset" : 0,
    "end_offset" : 21,
    "type" : "<ALPHANUM>",
    "position" : 0
  }
]
}

5.2 tokenizer与text

  • 通过路劲切分
POST _analyze
{
"tokenizer":"path_hierarchy",
"text":"/user/ymruan/a"
}
//返回
{
"tokens" : [
  {
    "token" : "/user",
    "start_offset" : 0,
    "end_offset" : 5,
    "type" : "word",
    "position" : 0
  },
  {
    "token" : "/user/ymruan",
    "start_offset" : 0,
    "end_offset" : 12,
    "type" : "word",
    "position" : 0
  },
  {
    "token" : "/user/ymruan/a",
    "start_offset" : 0,
    "end_offset" : 14,
    "type" : "word",
    "position" : 0
  }
]
}

5.3 tokenizer与filter（token_filters）

GET _analyze
{
"tokenizer": "whitespace", 
"filter": ["stop"], //on the a
"text": ["The gilrs in China are playing this game!"]
}

//返回，保留名词复数
{
  "tokens" : [
    {
      "token" : "The",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "gilrs",
      "start_offset" : 4,
      "end_offset" : 9,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "China",
      "start_offset" : 13,
      "end_offset" : 18,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "playing",
      "start_offset" : 23,
      "end_offset" : 30,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "game!",
      "start_offset" : 36,
      "end_offset" : 41,
      "type" : "word",
      "position" : 7
    }
  ]
}

snowball将名称复数变为单数

GET _analyze
{
"tokenizer": "whitespace", 
"filter": ["stop","snowball"], //on the a
"text": ["The gilrs in China are playing this game!"]
}
{
"tokens" : [
  {
    "token" : "The", //大写的The 不做过滤
    "start_offset" : 0,
    "end_offset" : 3,
    "type" : "word",
    "position" : 0
  },
  {
    "token" : "gilr",
    "start_offset" : 4,
    "end_offset" : 9,
    "type" : "word",
    "position" : 1
  },
  {
    "token" : "China",
    "start_offset" : 13,
    "end_offset" : 18,
    "type" : "word",
    "position" : 3
  },
  {
    "token" : "play",
    "start_offset" : 23,
    "end_offset" : 30,
    "type" : "word",
    "position" : 5
  },
  {
    "token" : "game!",
    "start_offset" : 36,
    "end_offset" : 41,
    "type" : "word",
    "position" : 7
  }
]
}

加入 lowercase 后，The 被当成 stopword 删除

GET _analyze
{
"tokenizer": "whitespace",
"filter": ["lowercase","stop","snowball"],
"text": ["The gilrs in China are playing this game!"]
}
{
"tokens" : [
  {
    "token" : "gilr",
    "start_offset" : 4,
    "end_offset" : 9,
    "type" : "word",
    "position" : 1
  },
  {
    "token" : "china",
    "start_offset" : 13,
    "end_offset" : 18,
    "type" : "word",
    "position" : 3
  },
  {
    "token" : "play",
    "start_offset" : 23,
    "end_offset" : 30,
    "type" : "word",
    "position" : 5
  },
  {
    "token" : "game!",
    "start_offset" : 36,
    "end_offset" : 41,
    "type" : "word",
    "position" : 7
  }
]
}

6. 设置标准的 analyzer

6.1 官网自定义分词器的标准格式

PUT /my_index
{
  "settings": {
      "analysis": {
          "char_filter": { ... custom character filters ... },//字符过滤器
          "tokenizer": { ... custom tokenizers ... },//分词器
          "filter": { ... custom token filters ... }, //词单元过滤器
          "analyzer": { ... custom analyzers ... }
      }
  }
}

6.2 定义自己的分词器

PUT my_index
{
"settings": {
  "analysis": {
    "analyzer": {
      "my_custom_analyzer":{
        "type":"custom",
        "char_filter":[
          "emoticons"
        ],
        "tokenizer":"punctuation",
        "filter":[
          "lowercase",
          "english_stop"
        ]
      }
    },
    "tokenizer": {
      "punctuation":{
        "type":"pattern",
        "pattern": "[ .,!?]"
      }
    },
    "char_filter": {
      "emoticons":{
        "type":"mapping",
        "mappings" : [ 
          ":) => happy",
          ":( => sad"
        ]
      }
    },
    "filter": {
      "english_stop":{
        "type":"stop",
        "stopwords":"_english_"
      }
    }
  }
}
}

参考资料：
极客时间：Elasticsearch核心技术与实战
相关阅读：
初学elasticsearch入门
Elasticsearch本地安装与简单配置
docker-compose安装elasticsearch集群
Elasticsearch 7.X之文档、索引、REST API详解
Elasticsearch节点，集群，分片及副本详解
Elasticsearch倒排索引介绍
Elasticsearch Analyzer 进行分词详解
Elasticsearch search API详解
Elasticsearch URI Search 查询方法详解
Elasticsearch Request Body 与 Query DSL详解
Elasticsearch Dynamic Mapping 和常见字段类型详解

ghostwritten
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【硬刚ES】ES基础（十二）多字段特性及Mapping中配置自定义Analyzer
微信搜：import_bigdata，大数据领域硬核原创作者
10-13 410
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。
ES Mapping ，1 字段类型
问道至简
11-24 1361
mapping 映射是定义一个文档以及其所包含的字段如何被存储和索引的方法。 动态映射（dynamic mapping） 显式映射（explicit mappings） maping 创建 PUT index1 { "mappings":{ //mapping 定义在这里 } } 一 基本类型 字段类型 定义关键字 字符串 full-text , keywords 数值 long , integer , short , byte , double ,float 日期
Elasticsearch - 指定分析器
WSYW126的博客
05-02 1万+
全文搜索引擎会用某种算法对要建索引的文档进行分析， 从文档中提取出若干Token(词元)， 这些算法称为Tokenizer(分词器)；这些Token会被进一步处理， 比如转成小写等，这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词)， 文档中包含了几个这样的Term被称为Frequency(词频)。
Elasticsearch Mapping 中配置自定义Analyzer
gnufre的专栏
05-20 1238
多字段特性 默认text 类型会有一个keyword 字段类型 什么情况下使用多字段？ 公司名字实现精确匹配 使用不同的Analyzer 不同语言 pinyin字段的搜索 还支持为搜索和索引指定不同的analyzer 精确值和全文本 区别：精确值不需要做分词处理 自定义Analyzer 介绍 Character Filters 在Tokenizer 之前对文本进行处理，例如增加删除及替换字符，可以配置多个Character Filters 。会影响TOkenize.
elasticsearch mapping
热门推荐
an74520的专栏
10-31 2万+
es的mapping设置很关键，mapping设置不到位可能导致索引重建。如何更好的设置mapping？请看下面各个属性介绍^_^ core types 每一个JSON字段可以被映射到一个特定的核心类型。JSON本身已经为我们提供了一些输入,支持string, integer/long, float/double, boolean, and null.
ES mapping 映射参数第一期之~ Analyzer
qq_43751598的博客
06-28 704
官方解释：以将字符串转换为标记或 术语流 。 白话：根据选择不同的分析器进行语句拆分。 Analyzer 由三部分组成：字符过滤器、 标记器和标记过滤器：接收原字符流，通过添加、删除或者替换操作改变原字符流。例如：去除文本中的html标签，或者将罗马数字转换成阿拉伯数字等。一个字符过滤器可以有零个或者多个：分词器接收一个 字符流，将其分解为单个 令牌（通常是单个单词），并输出一个令牌流。例如，whitespace标记器在看到任何空格时将文本分解为标记。它会将文本 "Quick brown fox!"转换为术
ES的mapping配置详解
u012762281的专栏
05-22 2651
mapping配置 mapping的基本格式 { "mappings":{ "_doc":{ "_all":{ "enabled":false }, "properties":{ "uuid":{ "type":"text", "copy_to":"_hippo_all"
Elasticsearch索引映射详解mapping.properties
qq_28834355的博客
10-13 4136
概述 映射是定义如何索引和存储文档和字段的过程，例如： 定义字段类型，哪些字段作为全文索引，哪些字段是数值、日期类型 定义日期字段的格式 控制动态添加字段的映射的自定义规则 字段类型 字符串类型： （1）text：通常用来存储长文本字段，例如博客标题、内容。通过定义analyzer，实现分词索引。 （2）keyword：不分词的字符串类型，存什么就是什么。 数值类型：long、integer、short、byte、double、float 日期类型：date 布尔类型：boolean 复合类型： （1
（四）elasticsearch之mapping详解和数据类型
qq_37891300的博客
08-22 1042
elasticsearch之mapping详解和数据类型 一、mapping介绍 类似数据库中的表结构定义，主要作用如下： 定义 index 下的字段名（Field name） 定义字段的类型，比如 数值型，字符串型，布尔型等 定义倒排索引的相关配置，比如是的索引、是否记录position 等 二、常用mapping 相关api 1、获取索引 mapping 请求：GET XXX-INDE...
Elasticsearch系列(三)mapping详解
淡淡的倔强的博客
01-26 4070
一、前言 Elasticsearch中mapping创建类似MYSQL中的表schema，本文大致记录下ES中mapping创建遇到的一些问题，供彼此学习，更多的请查看官网。 Elasticsearch-mapping 一、示例分析 curl -XPUT &quot;http://localhost:9200/rate&quot; -H 'Content-Type: application/json' -d' {...
es-多字段特性及配置自定义Analyzer
程序猿二大爷的博客
09-23 1018
es-多字段特性及配置自定义Analyzer
ES mapping 设置中，_analyzer属性的意思
a469517790的博客
07-16 1646
{ "mappings" : { "post" : { "_analyzer" : { "path" : "language" }, "properties" : { "id": { "type" : "long", "store" : "yes", "precision_step" :...
ElasticSearch自定义分析器（custom analyzer）
weixin_42638762的博客
05-02 2432
一、基础知识 一个完整的分析器Analyzer包括如下三个组件： Character Filters: 对文本信息就行预处理，比如对原始文本删减或替换字符 Token Filters: 分词后过滤，对分词后的词语列表进行处理（过滤，删除等） Tokenizer：分词器，即将原始文本按照一定规则切分为词语（token） 1. Character Filters es内置的Character Filters包括：html_strip: 去除html标签, mapping:字符串替换|映射, patte
Elasticsearch 多字段特性
希望我的博客，能解决你工作中的问题
02-22 849
1）多字段特性 定义 2）精确值（Exact Values）与全文本（Full Text） 精确值（Exact Values）在索引是， 不会做特殊的分词处理， 既不会被分词。
ElasticSearch | 多字段特性
乌鲁木齐001号程序员
05-20 369
多字段特性 在为一个索引配置 Mapping 的时候，可以为一个字段增加一个子字段； 默认情况下，text 类型的字段，ElasticSearch 都会为其加上一个 keyword 子字段，子字段的类型是 keyword，加了 keyword 子字段的字段值，可以实现精确匹配； 可以为字段加个子字段，从而以英文的方式进行分词，进而实现用拼音就可以搜索汉字； 多字段特性 | 举个栗子 comp...
Elasticsearch之Analyze（分析过程）
飞飞好奇的专栏
02-28 1万+
_analyze是Elasticsearch一个非常有用的API，它可以帮助你分析每一个field或者某个analyzer/tokenizer是如何分析和索引一段文字。 返回结果字段含义： token是一个实际被存储在索引中的词 position指明词在原文本中是第几个出现的 start_offset和end_offset表示词在原文本中占据的位置。 1、默认analyzer GET /_anal...
Elasticsearch-10.多字段特性及配置自定义Analyzer和Index Template和Dynamic Template
飘然渡沧海的博客
04-08 1461
Elasticsearch 多字段特性及配置自定义Analyzer 多字段类型 Exact Values v.s Full Text Excat values V.S Full Text Exact Value:包括数字/日期/具体一个字符串(例如“Apple Store”) Elasticseach 中的keyword 全文本， 非结构化的文本数据 Elasticsearch 中的text Exact Values不需要被分词 Elasticsearch 为每一个字段创建一个倒
多字段特性及Mapping中配置自定义Analyzer
weixin_40809179的博客
11-22 136
POST _analyze { "tokenizer": "keyword", "char_filter": ["html_strip"], "text": "<b>hello world</b>" } //使用char filter进行替换 POST _analyze { "tokenizer": "standard", "char_filter": [{ "type":"mapping", "mappings":["- => _"] ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ghostwritten

口渴，请赏一杯下午茶吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值