elasticsearch 学习博客系列<二> ES 中 index 设置 Mapping（表结构）

最新推荐文章于 2022-11-24 14:58:17 发布
最新推荐文章于 2022-11-24 14:58:17 发布
阅读量1.9w 收藏 8
点赞数 3
分类专栏： elasticsearch 文章标签： elasticsearch 结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29631809/article/details/72835874
版权

通过上一篇 我们了解到ES中的一些概念，回顾一下：

几个基本名词

index: es里的index相当于一个数据库。 
type: 相当于数据库里的一个表。 
id： 唯一，相当于主键。 
node:节点是es实例，一台机器可以运行多个实例，但是同一台机器上的实例在配置文件中要确保http和tcp端口不同。 
cluster:代表一个集群，集群中有多个节点，其中有一个会被选为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。 
shards：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上，构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。 
replicas:代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当个某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。

下面我们说一下  表的结构 映射 mapping

默认mapping

elasticsearch(以下简称ES)是没有模式(schema)的，当我们执行以下命令：

curl -XPUT http://localhost:9200/test/item/1 -d '{"name":"zach", "description": "A Pretty cool guy."}


ES能非常聪明的识别出"name"和"description"字段的类型是string， ES默认会创建以下的mapping。

mappings: {  
    item: {  
        properties: {  
            description: {  
                type: string  
            }  
            name: {  
                type: string  
            }  
        }  
    }  
}


什么是mapping

ES的mapping非常类似于静态语言中的数据类型：声明一个变量为int类型的变量， 以后这个变量都只能存储int类型的数据。同样的， 一个number类型的mapping字段只能存储number类型的数据。

同语言的数据类型相比，mapping还有一些其他的含义，mapping不仅告诉ES一个field中是什么类型的值， 它还告诉ES如何索引数据以及数据是否能被搜索到。

当你的查询没有返回相应的数据， 你的mapping很有可能有问题。当你拿不准的时候， 直接检查你的mapping。


剖析mapping

一个mapping由一个或多个analyzer组成， 一个analyzer又由一个或多个filter组成的。当ES索引文档的时候，它把字段中的内容传递给相应的analyzer，analyzer再传递给各自的filters。

filter的功能很容易理解：一个filter就是一个转换数据的方法， 输入一个字符串，这个方法返回另一个字符串，比如一个将字符串转为小写的方法就是一个filter很好的例子。

一个analyzer由一组顺序排列的filter组成，执行分析的过程就是按顺序一个filter一个filter依次调用， ES存储和索引最后得到的结果。

总结来说， mapping的作用就是执行一系列的指令将输入的数据转成可搜索的索引项。


默认analyzer

回到我们的例子， ES猜测description字段是string类型，于是默认创建一个string类型的mapping，它使用默认的全局analyzer， 默认的analyzer是标准analyzer, 这个标准analyzer有三个filter：token filter, lowercase filter和stop token filter。

我们可以在做查询的时候键入_analyze关键字查看分析的过程。使用以下指令查看description字段的转换过程：

curl -X GET "http://localhost:9200/test/_analyze?analyzer=standard&pretty=true" -d "A Pretty cool guy."  
   
{  
  "tokens" : [ {  
    "token" : "pretty",  
    "start_offset" : 2,  
    "end_offset" : 8,  
    "type" : "<ALPHANUM>",  
    "position" : 2  
  }, {  
    "token" : "cool",  
    "start_offset" : 9,  
    "end_offset" : 13,  
    "type" : "<ALPHANUM>",  
    "position" : 3  
  }, {  
    "token" : "guy",  
    "start_offset" : 14,  
    "end_offset" : 17,  
    "type" : "<ALPHANUM>",  
    "position" : 4  
  } ]



可以看到， 我们的description字段的值转换成了[pretty], [cool], [guy]， 在转换过程中大写的A， 标点符号都被filter过滤掉了， Pretty也转成了全小写的pretty， 这里比较重要的是， 即使ES存储数据的时候仍然存储的是完整的数据， 但是可以搜索到这条数据的关键字只剩下这三个单词了， 其他的都是抛弃掉了。

看看以单词a来搜索的结果：

$ curl -X GET "http://localhost:9200/test/_search?pretty=true" -d '{  
    "query" : {  
        "text" : { "description": "a" }  
    }  
}'  
   
{  
  "took" : 29,  
  "timed_out" : false,  
  "_shards" : {  
    "total" : 5,  
    "successful" : 5,  
    "failed" : 0  
  },  
  "hits" : {  
    "total" : 0,  
    "max_score" : null,  
    "hits" : [ ]  
  }  
}


text类型的搜索在查询过程中使用了和之前插入数据相同的分析/过滤系统， 所以我们输入"a"，mapping不会有任何返回， 因为单词“a”不会被ES存储和索引。反过来，如果我们使用单词"cool"进行搜索：

curl -X GET "http://localhost:9200/test/_search?pretty=true" -d '{  
    "query" : {  
        "text" : { "description": "cool" }  
    }  
}'  
   
{  
  "took" : 29,  
  "timed_out" : false,  
  "_shards" : {  
    "total" : 5,  
    "successful" : 5,  
    "failed" : 0  
  },  
  "hits" : {  
    "total" : 1,  
    "max_score" : 0.15342641,  
    "hits" : [ {  
      "_index" : "test",  
      "_type" : "item",  
      "_id" : "1",  
      "_score" : 0.15342641, "_source" : {"name":"zach", "description": "A pretty cool guy"}  
    } ]  
  }  
}


上面说到的是 默认 mapping，那么我们怎么建立 自己的 mapping 呢？

比如 botnet.json（botnet 的 mapping 文件）

文件 放在 config/templates/ 下

目录 位于  D:\soft\work\DB\elasticsearch-1.7.0\elasticsearch-1.7.0\config\templates\botnet.json


{
    "template-botnet": {
        "template": "botnet*",
        "settings": {
            "index.number_of_shards": 12,// 分片数
            "number_of_replicas": 1,// 副本数
            "index": {
                "store": {
                    "compress": {
                        "stored": true,
                        "tv": true
                    }
                }
            }
        },
        "mappings": {
            "botnet": {
                "_source": {
                    "compress": true
                },
                "_all": {
                    "enabled": false
                },
                "properties": {
                    "lid": {
                        "type": "long",
                        "index": "not_analyzed"// 聚合 字段 不可分词
                    },
		    "url": {
			"type": "string",
			 "fielddata": {
			     "format": "doc_values"
			  },
		          "index": "not_analyzed"
	            },
		    "ip": {
			"type": "string",
			 "fielddata": {
			     "format": "doc_values"
			  },
		          "index": "not_analyzed"
	            },
		    "ipLong": {
			  "type": "long",
			  "fielddata": {
			     "format": "doc_values"
			  }
		    },
		    "port": {
			  "type": "long",
			  "fielddata": {
			     "format": "doc_values"
			  }
		    },
		    "source": {
			  "type": "long",
			  "fielddata": {
			     "format": "doc_values"
			  }
		    },
		    "state": {
			  "type": "long",
			  "fielddata": {
			     "format": "doc_values"
			  }
		    },
		    "type": {
			  "type": "long",
			  "fielddata": {
			     "format": "doc_values"
			  }
		    },
		    "firstCreateTime": {
			  "type": "long",
			  "fielddata": {
			     "format": "doc_values"
			  }
		    },
		    "createTime": {
			  "type": "long",
			  "fielddata": {
			     "format": "doc_values"
			  }
		    },
		    "updateTime": {
			  "type": "long",
			  "fielddata": {
			     "format": "doc_values"
			  }
		    },
		    "bigArea": {
			"type": "string",
			 "fielddata": {
			     "format": "doc_values"
			  },
		          "index": "not_analyzed"
	            },
		    "smallArea": {
			"type": "string",
			 "fielddata": {
			     "format": "doc_values"
			  },
		          "index": "not_analyzed"
	            },
		    "geoX": {
		      "type": "double",
		      "fielddata": {
		        "format": "doc_values"
		      }
		    },
		    "geoY": {
		      "type": "double",
		      "fielddata": {
		        "format": "doc_values"
		      }
		    },
		    "note": {
			"type": "string",
			 "fielddata": {
			     "format": "doc_values"
			  },
		          "index": "not_analyzed"
	            },
		    "action": {
			"type": "string",
			 "fielddata": {
			     "format": "doc_values"
			  },
		          "index": "not_analyzed"
	            },
		    "prot": {
			"type": "string",
			 "fielddata": {
			     "format": "doc_values"
			  },
		          "index": "not_analyzed"
	            },
		    "reliability": {
			"type": "long",
			 "fielddata": {
			    "format": "doc_values"
			 }
	            },
		    "isLive": {
			"type": "long",
			 "fielddata": {
			    "format": "doc_values"
			 }
	            },
		    "system": {
			"type": "string",
			 "fielddata": {
			     "format": "doc_values"
			  },
		          "index": "not_analyzed"
	            },
		    "port": {
			"type": "long",
			 "fielddata": {
			    "format": "doc_values"
			 }
	            },
		    "countryCode": {
			"type": "string",
			 "fielddata": {
			     "format": "doc_values"
			  },
		          "index": "not_analyzed"
	            }
                }
            }
        }
    }
}

说明：1.建立 mapping 的 规则是   将要 聚合的field 不可分词 ，设置成 

"bigArea": {
			"type": "string",
			 "fielddata": {
			     "format": "doc_values"
			  },
		          "index": "not_analyzed"
	            }


 2.预留出 空余字段 ，因为 索引的结构一旦 设置成 存上数据，就不可改变 （不像mysql 等），所以 在  设计的时候 就应该  预留出 扩展字段  String  long  型的 都要 流出余地来。
mapping相当于 在关系型 的ddl 建表语言   ：

CREATE TABLE `workers_info` (  
  `id` int(11) NOT NULL AUTO_INCREMENT,  
  `workername` varchar(20) NOT NULL,  
  `sex` enum(F,M,S),  
  `salary` int(11) DEFAULT '0',  
  `email`  varchar(30),  
  `EmployedDates`  date,  
  `department`  varchar(30),  
  PRIMARY KEY (`id`)  
) ENGINE=MyISAM  DEFAULT CHARSET=utf8;

不足之处 请指正！
偏偏一叶扁舟
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch学习-索引操作及Mapping映射_es建索引建mapping
2401_84181403的博客
04-21 855
一个索引包含一个多个分片，7.0之前默认五个主分片，每个主分片一个副本，在7.0之后默认一个主分片，副本可以在索引创建之后修改数量，但是主分片的数量一旦确定不可修改。设置text类型以后，字段内容会被分析，在生成倒排索引（默认）以前，字符串会被分析器分成一个一个词项，text类型的字段不用于排序，很少用于聚合。index： 是否对当前字段创建倒排索引，默认为true，若为false，该字段不会通过索引被搜索到，但是仍会在source元数据中展示。
ElasticSearch学习文档.rar
03-21
6. **映射（Mapping）**：定义索引中字段的数据类型，类似于数据库的表结构。 7. **分片（Shard）**：为了提高存储和搜索性能，索引被划分为多个分片。每个分片可以存在于不同的节点上，实现数据的分布式存储。 8....
ElasticSearch之索引（index）和mapping
weixin_44692700的博客
12-19 2489
创建索引 使用put命令可以创建索引，并指定索引的分片数和副本数。 PUT 索引名 { "settings": { "index": { "number_of_shards": "8", // 分片数量 "number_of_replicas": "0" // 副本数量 } } } 修改索引副本 修改索引副本数量 PUT /索引名/_settings { "number_of_replicas": 1 // 副本数量 } 删除索引 delete 索引名
01.elasticsearch-mapping全面解析
寒夜
10-19 1万+
文章目录1. es index mapping内容概述2. field data type1. keyword类型1. string.text 分词文本2. string.keyword 关键字文本3. numeric 数字4. date 日期5. date nanoseconds 纳秒日期6. boolean 布尔类型7. binary 二进制类型8. range 范围类型的数据2. 复合数据类型1. object 对象类型2. nested 嵌套类型3. GEO 地理信息类型1. geo-point
1 初识ES
不停的奔跑
08-22 611
简介 Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。 Elasticsearch是一个分布式文档储存中间件，它不会将信息储存为列数据行，而是储存已序列化为 JSON 文档的复杂数据结构（更适合存储半结构化的数据文档）。当你在一个集群中有多个节点时，储存的文档分布在整个集群里面，并且立刻可以从任意节点去访问 产品 The Elastic Sta
Elasticsearch学习
qq_39227541的博客
03-08 1552
入门学习 一个索引对应mysql的一张表，（原来：索引对应一个库，类型对应一张表）一个文档（json结构）相当于表中的一行数据，一个字段对应列
ES基本概念
yishudeyu的专栏
08-03 655
1. 索引（Index） 相当于数据库实例 2. 类型（Type） 相当于SQL中的数据库表，相当于MongoDB中的集合 3. 文档（Document） 相当于SQL数据库表中的一行记录，相当于MongoDB中的文档 4. 节点（Node） 一个ES实例即为一个节点。主节点由选举产生。 节点名配置： #elasticsearch.yml #node.name: "Franz K
es的理论理解（elasticsearch-2）
云泽的博客
04-23 2196
索引 index 相当于数据库里的一个表，一个索引就是一个拥有相似特征的文档的集合；一个索引由一个名字来标识（必须全部是小写字母的）。 字段 field 相当于是数据于是数据表的字段（列） 字段类型 type 每一个字段都应该有一个对应的类型，例如：Text、Keyword、Long、Byte等 文档 document 一个文档类似一条记录，文档以JSON格式来表示； ES的分词 ES的默认分词设置的是standard，这个在进行中文分词时会单字拆分，不太友好；常用ik分词器，ik分词器..
elasticsearch-7.4.0-win64.rar
09-26
- **索引(Index)**：类似于数据库中的表，用于存储具有相似结构的数据。 - **类型(Type)**：在6.x版本后被文档映射（Mapping）取代，用于定义索引中每个字段的数据类型。 - **文档(Document)**：索引中的最小数据...
学习笔记（ElasticSearch）（实战）
最新发布
06-03
- **索引(Index)**：类似于数据库中的表，用于存储具有相似结构的数据。 - **类型(Type)**：在一个索引中，可以定义一种或多种类型，但在Elasticsearch 7.x之后已被废弃，现在每个索引只有一个默认类型 `_doc`。 - *...
ElasticSearch5.5.0入门学习.zip
06-12
- **映射（Mapping）**：定义字段的数据类型和分析器等元数据，类似于数据库的表结构。 - **节点（Node）**：Elasticsearch 集群中的单个实例，可以存储数据并参与集群的操作。 - **集群（Cluster）**：由多个...
Elasticsearch
03-12
3. **索引（Index）**：索引类似于数据库中的表，用于存储具有相同结构的数据。在 Elasticsearch 中，索引名是大小写敏感的。 4. **类型（Type）**：在早期版本的 ES 中，索引内可以有多个类型，但自 7.0 版本后，...
七：es映射 mapping
折剑听雨落
05-21 912
官网 映射是定义文档及其包含的字段的存储和索引方式的过程。例如，使用映射定义： 哪些字符串字段应视为全文字段。 哪些字段包含数字，日期或地理位置。 是否应将文档中所有字段的值都索引到“全部捕获”_all字段中。 日期值的格式。 自定义规则，用于控制动态添加字段的映射。 每个索引都有一个映射类型，该映射类型确定如何对文档建立索引。 映射类型具有： 元字段 元字段用于自定义如何处理关联的文档元数据。元田的例子包括文档 _index，_type， _id，和_source领域。 字段...
（六：2）elasticsearch索引的mapping详解
weixin_43930865的博客
09-21 5722
1：mapping详解 一个索引的设置包括setting和mapping两部分 1：setting部分 是对索引的设置信息，更多参数信息看官网，示例如下 "settings": { "number_of_shards": "1", 该索引的所有分片数，每个节点每GB堆空间的分片数量应该少于20个 "number_of_replicas": "0", 该索引的副本个数 "refresh_interval": "30s" 索引的段的刷新间隔 index.max_rescore_wi
Elasticsearch(009)：es中index(索引)的新增、修改、删除、关闭等操作
cxu123321的博客
01-04 2319
Elasticsearch(009)：es中index(索引)的新增、修改、删除、关闭等操作 原创瘦子没有夏天 发布于2020-01-03 18:31:38 阅读数 17 收藏 展开 文章目录 索引（Index） 1. 添加索引 2. 获取索引 3. 修改索引 4. 删除索引 5. 打开/关闭索引 6. 获取所有索引列表 索引（Index） 本篇文章主要学习索引的相关操作。 1. 添加索引 P...
elasticsearch创建索引和查看索引及结构命令
热门推荐
酱紫的博客
08-20 2万+
命令 查看索引及结构： 命令： GET /索引名/_mapping?pretty 创建索引： 命令： PUT 索引名 示例： number_of_shards：分片数量（按机器节点数量计算，创建后不能更改） number_of_replicas：副本数量 PUT admin_log_0821 { "settings":{ "number_of_shards":6, ...
ES（ElasticSearch）:index索引Mapping操作
进击的小白
03-31 2831
Index索引 新增 PUT http://es-server:9200/{index_name} #也可以在body中增加索引属性 { "mappings": { "properties": { "name": { "properties": { "first": { "type": "text" } } } } } } 关闭索引 POST htt...
【ES笔记01】ElasticSearch数据库之index索引、doc文档、alias别名、mappings映射结构的基本操作
11-24 2113
ElasticSearch，简称：ES，是一个分布式的分析和搜索引擎，底层是基于开源框架Lucene实现的，ES是一个非关系型数据库，它采用JSON文档的格式保存数据，并且可以对JSON中的每一个字段进行索引，从而实现快速搜索功能。
第二章、Elasticsearch索引_Index、映射_Mapping操作
Yanping-1003
05-26 446
通过Apipost、Postman等http工具对Elasticsearch的index和mapping完成创建、修改、删除操作
ES中index、type、mapping的作用
09-14
### 回答1： ES（Elasticsearch）是一个分布式的搜索和分析引擎，常用于构建全文搜索引擎、日志分析、数据分析等场景。下面是index、type和mapping在ES中的作用： 1. Index（索引）：在ES中，index是存储和索引文档的地方。每个index可以包含多个type，类似于关系型数据库中的表。一个index通常代表一种数据类型或者数据集合。 例如，一个名为“products”的index可以用于存储产品数据，另一个名为“users”的index可以用于存储用户数据。 2. Type（类型）：在ES中，type是index中文档的逻辑分类，类似于关系型数据库中的表中的类型。每个type包含一个或多个文档（document），每个文档有自己的字段（field）。不同的type可以共享相同的mapping，也可以拥有自己独有的mapping。 例如，在“products”索引中，可以定义两个不同的type：“book”和“movie”。每个type都有自己的字段，例如“book”type可能有字段“title”、“author”、“publisher”，而“movie”type可能有字段“title”、“director”、“year”。 3. Mapping（映射）：在ES中，mapping用于定义文档的字段和属性。每个index中的每个type都有自己的mapping。mapping定义了字段的类型、是否需要索引、是否存储等信息。 例如，在“products”索引中，对于“book”type，可以定义字段“title”为“text”类型，需要索引，但不需要存储。对于“author”字段，可以定义为“keyword”类型，需要索引并且需要存储。这些mapping定义了文档的结构和特征，可以支持高效的搜索和聚合操作。 总之，index、type和mapping是ES中非常重要的概念，可以帮助我们组织和管理数据，并实现高效的搜索和分析。 ### 回答2： 在Elasticsearch（ES）中，index、type和mapping都是用来组织和管理存储在集群中的数据的重要概念。 1. Index（索引）：索引是ES最基本的概念之一，代表了一个逻辑上的数据存储容器。它类似于传统数据库中的数据库，用于将数据进行组织和分割。每个索引都有一个唯一的名称，用于标识和访问其中存储的数据。一个ES集群可以包含多个索引，每个索引可以包含多个文档和其相关信息。 2. Type（类型）：类型是指索引内的逻辑分组，用于将索引内的文档进一步分类。一个索引可以包含多个类型，每个类型通常表示一种相似的数据。例如，在一个名为"blog"的索引中，可以有类型"post"和"type"，分别用于存储博客文章和评论。类型不再是ES7.x及以后版本的概念，ES7.x及以后的版本中将使用单个索引来存储数据。 3. Mapping（映射）：映射是用来定义索引中的数据结构和类型的方式。它类似于传统数据库中的表结构，通过映射可以指定字段的类型、分析器、是否索引、是否存储等属性。映射将数据的结构定义为类型、字段和属性的集合，用于确定数据如何被存储和搜索。在索引创建之前，通过映射可以提前规划好数据的结构，以便进行更有效的搜索和聚合操作。 综上所述，index、type和mapping在ES中扮演着重要的角色。索引用于组织和分割数据，类型用于进一步分类和组织索引内的数据，映射用于定义和控制数据的结构和属性。它们共同促使ES成为一个强大的搜索和分析引擎，能够处理和查询大规模的分布式数据。 ### 回答3： 在Elasticsearch（ES）中，index、type和mapping都是非常重要的概念。 首先，index是ES中用于存储、组织和检索文档的单元。它类似于关系数据库中的数据库。每个index都有一个唯一的名称，我们可以在一个ES集群中创建多个index来存储不同类型的数据。index中的文档被分配到不同的分片中，以便实现高可用性和扩展性。 其次，type是index中的逻辑分类或分组。同一个index中的文档可以被分为不同的type，以便更好地组织数据。type是可选的，可以灵活地定义，用于根据业务需求创建不同类型的文档结构。然而，在ES 7.0版本之后，type已经被弃用，建议直接使用index来组织数据。 最后，mapping是定义index中文档结构和字段的方式。mapping描述了index中的每个字段的数据类型、分词器和其他属性。通过mapping，ES可以自动识别文档中的字段并进行正确的数据解析和处理。mapping还允许我们为不同的字段添加搜索、过滤和聚合等功能。ES提供了自动创建mapping的功能，也可以手动创建和修改mapping来满足特定的业务需求。 总结来说，index用于存储、组织和检索文档，type用于在index内部进行逻辑分类，而mapping则定义了index中文档的结构和字段的属性。这些都是ES中关键的概念，对于有效地管理和利用数据非常重要。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值