8.多字段特性&Analyzer&Template

最新推荐文章于 2023-07-27 16:16:15 发布
最新推荐文章于 2023-07-27 16:16:15 发布
阅读量311 收藏
点赞数 1
分类专栏： ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24908345/article/details/97299150
版权

1.多字段特性

  • 多字段特性
    • 厂商名字实现精准匹配
      • 增加一个keyword字段
    • 使用不同的analyzer
      • 不同语言
      • pinyin字段的搜索
      • 还支持为搜索和索引指定不同的analyzer

1.1 Exact Values v.s Full Text

Exact Value:包括数字/日期/具体一个字符串 Elasticsearch 中的keyword
Full Text（全文本）非结构化的文本数据， Elasticsearch 中的text

在这里插入图片描述

1.1.1 Exact Values 不需要被分词

  • Elasticsearch 为每一个字段创建一个倒排索引
    • Exact Value 在索引时，不需要做特殊的分词处理
      在这里插入图片描述

2 自定义分词

当Elasticsearch 自带的分词器无法满足时，可以自定义分词器。通过自组合不同的组件实现

  • Character Filter
  • Tokenizer
  • Token Filter

2.1 Character Filters

在Tokenizer 之前对文本进行处理，例如增加删除及替换字符。可以配置多个Character Filters。会影响Tokenizer 的position 和 offset 信息

一些自带的Character Filters

  • HTML strip : 去除html标签
  • Mapping : 字符串替换
  • Pattern_replace : 正则匹配替换
2.1.1 HTML_strip
	POST _analyze
	{
	  "tokenizer":"keyword",   // 关键词 tokenizer 即将输入 当做一个整体输出
	  "char_filter":["html_strip"],  //去除html 标签
	  "text": "<b>hello world</b>"
	}

	# 返回结果
		{
	  "tokens" : [
	    {
	      "token" : "hello world",
	      "start_offset" : 3,
	      "end_offset" : 18,
	      "type" : "word",
	      "position" : 0
	    }
	  ]  
	}
2.1.2mapping 替换
	POST _analyze
{
  "tokenizer": "standard",   	
  "char_filter": [
      {
        "type" : "mapping",
        "mappings" : [ "- => _"]		//将 - 替换为 _
      }
    ],
  "text": "123-456, I-test! test-990"
}
# 返回结果
	{
  "tokens" : [
    {
      "token" : "123_456",
      "start_offset" : 0,
      "end_offset" : 7,
      "type" : "<NUM>",
      "position" : 0
    },
    {
      "token" : "I_test",
      "start_offset" : 9,
      "end_offset" : 15,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "test_990",
      "start_offset" : 17,
      "end_offset" : 25,
      "type" : "<ALPHANUM>",
      "position" : 2
    }
  ]
}
2.1.3 Pattern_replace

的pattern_replace字符过滤器使用一个正则表达式匹配到要修改的字符然后使用指定的字符串替换。替换字符串可以引用正则表达式中的匹配组。

  • pattern 一个Java的正则表达式。

  • replacement 替换字符串，可以参考使用匹配组 $1… $9。

  • flags Java正则表达式标志。

      GET _analyze
  {
    "tokenizer": "standard",
    "char_filter": [
        {
          "type" : "pattern_replace",
          "pattern" : "http://(.*)",
          "replacement" : "$1"
        }
      ],
      "text" : "http://www.elastic.co"
  }

  # 输出结果
  	{
"tokens" : [
  {
    "token" : "www.elastic.co",
    "start_offset" : 0,
    "end_offset" : 21,
    "type" : "<ALPHANUM>",
    "position" : 0
  }
]

    }

2.2 Tokenizer

  • 将原始的文本按照一定的规则，切分为词（term or token）

  • Elasticsearch 内置的Tokenizers

    • whitespace、standard、uax_url_emal、pattern、keyword、path_hierarchy

  • 可以用Java开发插件，实现自己的Tokenizer

      	POST _analyze
  {
    "tokenizer":"path_hierarchy",
    "text":"/user/ymruan/a/b"
  }
  # 返回结果
  {
"tokens" : [
  {
    "token" : "/user",
    "start_offset" : 0,
    "end_offset" : 5,
    "type" : "word",
    "position" : 0
  },
  {
    "token" : "/user/ymruan",
    "start_offset" : 0,
    "end_offset" : 12,
    "type" : "word",
    "position" : 0
  },
  {
    "token" : "/user/ymruan/a",
    "start_offset" : 0,
    "end_offset" : 14,
    "type" : "word",
    "position" : 0
  },
  {
    "token" : "/user/ymruan/a/b",
    "start_offset" : 0,
    "end_offset" : 16,
    "type" : "word",
    "position" : 0
  }
]

    }

2.3 Token Filters

  • 将Tokenizer 输出的单词（term），进行修改，增加，删除
  • 自带的Token Filters
    • Lowercase/stop/synonym(添加近义词)

2.4 设置一个 Custom Analyzer

PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_custom_analyzer":{
          "type":"custom",
          "char_filter":["emoticons"],		// 设置 char_filter
          "tokenizer":"punctuation",		// 设置 tokenizer
          "filter":["lowercase","english_stop"]	设置filter 
        }
      },
      "tokenizer": {				// 定义tokenizer
        "punctuation":{
          "type":"pattern",
          "pattern":"[ .,!?]"
        }
      },
      
      "char_filter":{			// 定义char_filter
        "emoticons":{
          "type":"mapping",
          "mappings":[":) => _happy_",":( => _sad_"]
        }
      },
      "filter": {				//定义filter
        "english_stop":{
          "type":"stop",
          "stopwords":"_english_"
        }
      }
    }
  }
}

3 Index Template 和 Dynamic Template

集群上的索引会越来越多，例如：为你的日志每天创建一个索引。使用多个索引可以让你更好的管理你的数据，提高性能

3.1.1 什么是Index Template

  • Index Templages 帮助你设定 Mappings 和 Settings 并按照一定的规则，自动匹配到新创建的索引之上
    • 模板仅在一个索引被创建时，才会产生作用。修改模板不会影响已创建的索引
    • 你可以设定多个索引模板，这些设置会被merge在一起。
    • 你可以指定order的数值，控制 merging的过程

3.1.2 Index Template 的工作方式

当一个索引被新创建时

  1. 应用Elasticsearch 默认的settings 和 mappings
  2. 应用order 数值低的Index Template 中的设定
  3. 应用order 数值高的Index Template 中的设定，之前的设定会被覆盖
  4. 应用创建索引时，用户所指定的Settings 和 Mappings 并覆盖之前模板中的设定

3.1.3 Demo

在这里插入图片描述
创建两个 Index Templates

PUT _template/template_default
{
  "index_patterns": ["*"],	//匹配所有索引
  "order" : 0,				// orde数值为0
  "version": 1,
  "settings": {
    "number_of_shards": 1, //主分片个数
    "number_of_replicas":1 //复制分片个数
  }
}
	PUT /_template/template_test
{
    "index_patterns" : ["test*"],
    "order" : 1, 	// order 数值为1 将覆盖 order = 0 的值
    "settings" : {
    	"number_of_shards": 1,
        "number_of_replicas" : 2	、
    },
    "mappings" : {
    	"date_detection": false, 	// 日期转换关闭
    	"numeric_detection": true	// 开启数值类型自动转换
    }
}

查看template信息

GET /_template/template_default
GET /_template/temp*

创建新索引

//写入新的数据，index以test开头
PUT testtemplate/_doc/1
{
	"someNumber":"1",
	"someDate":"2019/01/01"
}

查看状态

	GET testtemplate/_mapping
	# 返回结果
	{
  "testtemplate" : {
    "mappings" : {
      "date_detection" : false,
      "numeric_detection" : true,
      "properties" : {
        "someDate" : {
          "type" : "text",	//日期字符串没有被推断为日期类型
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "someNumber" : {	//  被推断为数值类型
          "type" : "long"
        }
      }
    }
  }
}
GET testtemplate/_settings
# 返回结果
{
  "testtemplate" : {
    "settings" : {
      "index" : {
        "creation_date" : "1564111116898",
        "number_of_shards" : "1",	
        "number_of_replicas" : "2",	 	// 复制分片数为2 可见已经覆盖
        "uuid" : "poT_luf-Svu6oPhWIeI7fQ",
        "version" : {
          "created" : "7010099"
        },
        "provided_name" : "testtemplate"
      }
    }
  }
}

3.2.1 什么是Dynamic Template

  • 根据Elasticsearch 识别的数据类型，结合字段名称，来动态设定字段类型
    • 所有的字符串类型都设定成Keyword,或者关闭keyword字段
    • is 开头的字段都设置成boolean
    • long_开头的都设置成long类型

在这里插入图片描述
在这里插入图片描述

3.2.2 demo1

PUT my_index
{
  "mappings": {
    "dynamic_templates": [
            {
        "strings_as_boolean": {			// Template 名称
          "match_mapping_type":   "string",		// 	要匹配的类型
          "match":"is*",					// is 开头的 将其设置为boolean 类型
          "mapping": {
            "type": "boolean"
          }
        }
      },
      {
        "strings_as_keywords": {
          "match_mapping_type":   "string",		
          "mapping": {
            "type": "keyword"
          }
        }
      }
    ]
  }
}

插入数据

	PUT my_index/_doc/1
	{
	  "firstName":"Ruan",
	  "isVIP":"true"
	}

查看mapping

	GET my_index/_mapping
	# 返回结果
		{
  "my_index" : {
    "mappings" : {
      "dynamic_templates" : [
        {
          "strings_as_boolean" : {
            "match" : "is*",
            "match_mapping_type" : "string",
            "mapping" : {
              "type" : "boolean"
            }
          }
        },
        {
          "strings_as_keywords" : {
            "match_mapping_type" : "string",
            "mapping" : {
              "type" : "keyword"
            }
          }
        }
      ],
      "properties" : {
        "firstName" : {
          "type" : "keyword"	// 如果没有 dynamic_template 应该为 ”text"类型
        },
        "isVIP" : {
          "type" : "boolean"	// 如果没有 dynamic_template 应该为“text"类型
        }
      }
    }
  }
}

3.2.3 demo2

DELETE my_index
PUT my_index
{
  "mappings": {
    "dynamic_templates": [
      {
        "full_name": {
          "path_match":   "name.*",			// 匹配
          "path_unmatch": "*.middle",		// 排除
          "mapping": {
            "type":       "text",
            "copy_to":    "full_name"	
          }
        }
      }
    ]
  }
}
PUT my_index/_doc/1
{
  "name": {
    "first":  "John",
    "middle": "Winston",
    "last":   "Lennon"
  }
}


GET my_index/_search?q=full_name:John //有结果
GET my_index/_search?q=full_name:Winston // 无结果

相关阅读

Index Templates https://www.elastic.co/guide/en/elasticsearch/reference/7.1/indices-templates.html
Dynamic Template https://www.elastic.co/guide/en/elasticsearch/reference/7.1/dynamic-mapping.html

Gedeon
关注
专栏目录
elasticsearchTemplate
不踩蚂蚁的大象
02-20 4021
添加索引 elasticsearchTemplate.createIndex(“索引名称”); 删除索引 elasticsearchTemplate.deleteIndex(“索引名称”); 创建索引类型（相当于创建表中数据字段及类型） elasticsearchTemplate.putMapping(Sku.class); 这个对象，所有字段需要加上@Field标注，然后给与对应的类型，类...
1.ELK之Elasticsearch&Kibana一篇入门(安装/分片/操作流程/常用语句/分词)
mijichui2153的博客
08-05 7201
elasticsearch安装
Elasticsearch 自定义多个分析器
不见其长，日有所长
10-22 698
1. 前言 1.1 分析器(Analyzer) Elasticsearch 无论是内置分析器还是自定义分析器，都由三部分组成：字符过滤器(Character Filters)、分词器(Tokenizer)、词元过滤器(Token Filters)。 1.2 分析器Analyzer工作流程 Input Text => Character Filters(如果有多个，按顺序应用) => ...
经常遇到的,一个字段显示多字段数据!
龙卷风(2007)
01-19 2111
原贴:http://community.csdn.net/Expert/topic/3721/3721293.xml?temp=.4743158有表內容﹕編號 內容A    abcA    aaaA    ddddB    1223B    fkdjfd....實現結果﹕A   abc,aaa,ddddB   1223,fkdjfd要求用一條SQL實現﹐如﹕select sum(內容) from
列表分组字段 分组展示模板——JEPLUS软件快速开发平台
weixin_33755649的博客
06-20 212
为什么80%的码农都做不了架构师？>>> ...
Elasticsearch Mapping 中配置自定义Analyzer
gnufre的专栏
05-20 1246
多字段特性 默认text 类型会有一个keyword 字段类型 什么情况下使用多字段？ 公司名字实现精确匹配 使用不同的Analyzer 不同语言 pinyin字段的搜索 还支持为搜索和索引指定不同的analyzer 精确值和全文本 区别：精确值不需要做分词处理 自定义Analyzer 介绍 Character Filters 在Tokenizer 之前对文本进行处理，例如增加删除及替换字符，可以配置多个Character Filters 。会影响TOkenize.
ES自定义分词，对数字进行分词，小数点也进行拆分
最新发布
tian__c的博客
07-27 1879
我们使用的Unicode进行正则匹配，Unicode将字符编码分为了七类，其中P代表标点L 代表字母Z 代表分隔符(空格，换行)S 代表数学符号，货币符号M代表标记符号N 阿拉伯数字，罗马数字C其他字符例如：所以\pP的作用是匹配中英文标点，比如, . > 》？，而\pS代表的是数学符号，货币符号等#自定义分词器},"name": {},},"punctuation_analyzer":{// 分词器的名字"type":"custom", //类型是自定义的。
logstash-template模板：logstash.json
06-14
- JSON模板通常包含字段名和字段类型，如字符串、数字、日期等，有时还包括映射（mapping）设置，如动态模板、分析器（analyzer）等。 3. **使用Logstash模板的步骤**： - **创建模板**：首先，你需要根据数据...
ElasticSearch8.x操作记录
m0_45856191的博客
11-17 1071
ElasticSerach8.x在Kibana中的相关操作，有助于更好地理解ElasticSearch
使用 dynamic_templates自定义动态索引
xiao_jun_0820的专栏
03-29 6945
如果你想在运行时的增加新的字段，你可能会开启动态索引。虽然有时动态映射的 规则 显得不那么智能，幸运的是我们可以通过设置来自定义这些规则。 当 Elasticsearch 遇到一个新的字符串字段时，它会检测这个字段是否包含一个可识别的日期，比如 2014-01-01。如果它看起来像一个日期，这个字段会被作为 date 类型添加，否则，它会被作为 string 类型添加。 有些时候这个规则可能导
MySQL数据类型
weixin_34419326的博客
12-10 110
2019独角兽企业重金招聘Python工程师标准>>> ...
Elasticsearch-10.多字段特性及配置自定义Analyzer和Index Template和Dynamic Template
飘然渡沧海的博客
04-08 1480
Elasticsearch 多字段特性及配置自定义Analyzer 多字段类型 Exact Values v.s Full Text Excat values V.S Full Text Exact Value:包括数字/日期/具体一个字符串(例如“Apple Store”) Elasticseach 中的keyword 全文本， 非结构化的文本数据 Elasticsearch 中的text Exact Values不需要被分词 Elasticsearch 为每一个字段创建一个倒
模板（Template）
OPEN_GIS
09-06 573
为什么使用模板？ 模板可以解决重载函数定义不全面的问题。 模板的定义：实现代码重用机制的工具，可以实现类型参数化（把类型定义为参数），从而实现真正的代码重用。 模板参数分为两类：函数模板，类模板 函数模板的写法： Template 返回类型 函数名（形参表） {//函数体} 说明：template是一个声明模板的关键字，表示声明一个模板关键字class不能省略，如果类型形参多余一个
【ES】Elasticsearch分词器使用和简单查询
thlzjfefe的博客
06-12 6201
文章目录 Elasticsearch 一. analysis与analyzer 1.1 内置的分词器 1.2 内置分词器示例 1.3 中文分词 1.3.1 IK分词器 1.3.2 HanLP 1.3.3 pinyin分词器 1.4 中文分词演示 1.5 分词的实际应用 1.5.1 设置mapping 1.5.2 插入数据 1.5.3 查询 1.6 拼音分词器 1.6.1 设置settings 1.6.2 设置mapping 1.6.3 数据的插入 1.6.4 查询 1.7 中文、拼音混合查找 1.7.1 设
ElasticSearch | 内置分词器 | 自定义分词器
乌鲁木齐001号程序员
05-20 281
自定义分词器 当 ElasticSearch 自带的分词器无法满足需要时，可以自定义分词器，通过组合不同的组件实现； 分词器的三个组件： Character Filters：针对原始文本处理，例如去除 html 标签； Tokenizer：按照规则分为单词； Token Filters：将切分的单词进行加工，小写，删除 stopwords，增加同义词； Character Filt...
Eelasticsearch 多字段特性及 Mapping 中配置自定义 Analyzer详解
爱死亡机器人
11-03 1039
多字段特性 1.厂家名字实现精确匹配 增加一个 keyword 字段 2.使用不同的 analyzer 不同语言 pinyin 字段的搜索 还支持为搜索和索引指定不同的 analyzer Excat values v.s Full Text Excat Values ：包括数字 / 日期 / 具体一个字符串 （例如 “Apple Store”） Elasticsearch 中的 keyword 全文本，非结构化的文本数据 Elasticsearch 中的 text Excat values不
elasticsearch中的mapping简介
热门推荐
lvhong84的专栏
04-17 7万+
最近项目准备用到elasticsearch， 首先需要搞清楚elasticsearch的一些概念，在网上发现这篇文章不错，以通俗易懂的语言讲明白了mapping的概念。 默认mapping elasticsearch(以下简称ES)是没有模式(schema)的，当我们执行以下命令： curl -XPUT http://localhost:9200/test/item/1 -d '{"name":"zach", "description": "A Pretty cool guy."}' ES能非常聪明的识
org.wltea.analyzer.lucene.IKAnalyzer maven
05-24
你可以通过以下 Maven 依赖来引入 IKAnalyzer： ```xml <dependency> <groupId>org.wltea</groupId> <artifactId>analyzer</artifactId> <version>IK-Analyzer-2012FF</version> </dependency> ``` 注意，这里使用的是 IKAnalyzer 的 2012FF 版本。你也可以根据自己的需求选择其他版本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值