ElasticSearch笔记系列（4）——ElasticSearch集群索引创建

最新推荐文章于 2024-08-12 12:10:15 发布
最新推荐文章于 2024-08-12 12:10:15 发布
阅读量602 收藏 1
点赞数
文章标签： postman 大数据 json
原文链接：https://my.oschina.net/happyBKs/blog/1795508
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

ES的RESTFUL风格的API

ES的API组成结构是以RESTFUL风格的API来封装的。

我们来看一下他的API基本格式。

http://<ip>:<port>/<索引>/<类型>/<文档id>

API的URL里的每一个元素都是他的概念。即都是它的名词。

动词都是通过http方法来区分的：

GET/POST/PUT/DELETE

 

如何创建索引

先根据上篇博客介绍的，把ES一主二从外加head全部打开。

222214_pTHe_1156339.png

你会发现电脑内存立即消耗殆尽。

222143_lWnZ_1156339.png

 

非结构化创建

我们选择点击【索引】，然后点击【新建索引】

222340_Rbeu_1156339.png

我们给索引取个名字，叫house。可以看到，这里还可以调整分片和副本数。这里我默认选择5个分片和1个副本。

222508_BZcv_1156339.png

点击【OK】，这里显示创建成功。

222557_XbWe_1156339.png

我们可以看到索引的概况已经发生变化，出现我们刚刚添加的house索引。house是索引名，记住，这个要小写且不能有双划线（下划线和减号）

222803_WsVQ_1156339.png

然后我们再到概览里看一下。这里我们可以看到0、1、2、3、4分别指的是house索引的5个分片，它们分散存在master和两台slave上。

你会发现每个分片数字都有两个，因为我们刚才设置的副本数是1。细心的你一定注意到了，每个分片中，有一个粗方框和一个细方框。粗方框代表这个分片是主分片，细方框代表分片的备份，即细方框是粗方框的备份分片。

222932_n03o_1156339.png

这里还有个细节。我们点击head插件页面上house索引的信息菜单按钮，选择【索引信息】

224805_L949_1156339.png

可以看到如下：

这里我们需要注意的是一个，mappings属性。这个属性代表结构化信息，如果为空，代表次索引为非结构化索引。

{
"state": "open",
"settings": {
"index": {
"creation_date": "1523543127792",
"number_of_shards": "5",
"number_of_replicas": "1",
"uuid": "yAZIunJJS_-OrN5JtCHuqA",
"version": {
"created": "5060899"
},
"provided_name": "house"
}
},
"mappings": { },
"aliases": [ ],
"primary_terms": {
"0": 1,
"1": 1,
"2": 1,
"3": 1,
"4": 1
},
"in_sync_allocations": {
"0": [
"KgGw0XboSK-iVa0M-ZYjIA"
,
"cKHd13tERbKD4czontrruQ"
],
"1": [
"V7rqZ1aERyyqaZQjE44WUA"
,
"2xwY2SNUQnOhDcyfnQZCwg"
],
"2": [
"yLi3b1-aT2mCR9wnRtJ64Q"
,
"HYw9u5W1SXWSe9ka5_oA4Q"
],
"3": [
"MlYordT7T_ys_s6EB1L9_w"
,
"vssLnGOqQ7K8YO3yFTHW1g"
],
"4": [
"OWATPEyLR0eLwG5PWUBkAg"
,
"XJYOtK68RraVQDXhtzYwbw"
]
}
}

那么如何建立一个结构化索引呢？

(本文出自oschina博主happybks的博文：https://my.oschina.net/happyBKs/blog/1795508)

结构化索引创建

点击页面上【符合查询】

225637_MMxr_1156339.png

然后我们构建一个url来调用ES的一个API。

我们给house索引加一个类型：apartment公寓；

然后添加一个关键词_mappings，指定加一个映射。（明白为什么索引名称不能有双划线了吧，因为一些特殊用途的关键词就是以下划线开头的）

以上就是为ES添加一个结构化索引的API调用格式。下面，我们来定义一个具体的映射结构，格式为json。

我们输入一下json，为apartment索引的属性apartmentname映射一个文本类型。

我们选择【易读】复选框，点击【验证JSON】

230204_lo7f_1156339.png

json也一起附上：

{
  "apartment": {
    "properties": {
      "apartmentname": {
        "type": "text"
      }
    }
  }
}

我们点击【提交请求】，提示我们创建成功，如图

230602_WHRK_1156339.png

然后我们点击回到【概览】。

注意：一定要点击右上角【刷新】按钮，否则无法看到我们刚才添加结构化映射的更新效果。

230804_hWoa_1156339.png

我们再次点击【信息】中的【索引信息】，这时候我们就能看到结构化索引的映射信息了。

{
"state": "open",
"settings": {
"index": {
"creation_date": "1523543127792",
"number_of_shards": "5",
"number_of_replicas": "1",
"uuid": "yAZIunJJS_-OrN5JtCHuqA",
"version": {
"created": "5060899"
},
"provided_name": "house"
}
},
"mappings": {
"apartment": {
"properties": {
"apartmentname": {
"type": "text"
}
}
}
},
"aliases": [ ],
"primary_terms": {
"0": 1,
"1": 1,
"2": 1,
"3": 1,
"4": 1
},
"in_sync_allocations": {
"0": [
"KgGw0XboSK-iVa0M-ZYjIA"
,
"cKHd13tERbKD4czontrruQ"
],
"1": [
"V7rqZ1aERyyqaZQjE44WUA"
,
"2xwY2SNUQnOhDcyfnQZCwg"
],
"2": [
"yLi3b1-aT2mCR9wnRtJ64Q"
,
"HYw9u5W1SXWSe9ka5_oA4Q"
],
"3": [
"MlYordT7T_ys_s6EB1L9_w"
,
"vssLnGOqQ7K8YO3yFTHW1g"
],
"4": [
"OWATPEyLR0eLwG5PWUBkAg"
,
"XJYOtK68RraVQDXhtzYwbw"
]
}
}

 

 

使用POSTMAN调用ES API创建索引

写过爬虫的朋友一定都用过postman，真是模拟各类http请求的好工具。

我们这里需要创建一个索引，请按照ES的服务地址和端口（注意：是ES的地址和端口，不是head插件的）

restfult api风格的API创建索引用的是http的put协议。

然后我们需要提交一个请求体位json的请求。所以选择body的raw，然后选择JSON格式。在postman中，软件会自动为你监测你将输入的json是否符合语法规则。在head插件那里还需要你自己注意格式。

131248_e8i3_1156339.png

 

我们创建的是rent租赁房屋索引。结构化索引当然需要定义一下映射。当然，我们先在settings中农定义好索引的分片数量和副本数量，我们这里默认写3和1就好。

然后我们做一下索引的映射定义mappings。格式如下。

这里我们为community类型创建其映射信息，community小区有communityname小区名称映射属性，属性值类型为文本text；属性city所在城市的值类型为关键字类型keyword。

text和keyword的区别：

keyword：存储数据时候，不会分词建立索引

text：存储数据时候，会自动分词，并生成索引（这是很智能的，但在有些字段里面是没用的，所以对于有些字段使用text则浪费了空间）。

age房龄属性是整型，注意是小写哦。

建造日期creationdate属性是日期类型date。

date类型的属性，可以指定format格式。

如果包含多种格式，可以将属性值中不同种类格式描述表达式用双竖线||分隔开。

它还支持时间戳的格式，这里我们用epoch_mills来表示。

{
	"settings":{
		"number_of_shards":3,
		"number_of_replicas":1
	},
	"mappings":{
		"community":{
			"properties":{
				"communityname":{
					"type":"text"
				},
				"city":{
					"type":"keyword"
				},
				"age":{
					"type":"integer"
				},
				"creationdate":{
					"type":"date",
					"format":"yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
				}
			}
		},
		"shop":{
			
		}
	}
}

我们为rent索引创建了一个shop商铺类型，这里我们什么映射都不定义。

之后我们提交请求。

注意是put协议请求，且这里json是为某个索引提交各个类型的映射，所以请在请求的url中把索引名称rent一起带上，否则会报错如下：

230801_P5xI_1156339.png

 

请求成功，成功创建结构化索引：

231035_AgcC_1156339.png

 

我们这时候刷新head首页，查看：

我们发现rent索引已经建立，且在我们一主二从的ES集群上已经创建了3分片、1副本的策略的结构化索引。

231221_eUwb_1156339.png

我们点击【信息】查看【索引信息】：

 

{
"state": "open",
"settings": {
"index": {
"creation_date": "1523632189666",
"number_of_shards": "3",
"number_of_replicas": "1",
"uuid": "lUrZ_KHtQcuG33MFNivX-A",
"version": {
"created": "5060899"
},
"provided_name": "rent"
}
},
"mappings": {
"shop": { },
"community": {
"properties": {
"creationdate": {
"format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis",
"type": "date"
},
"city": {
"type": "keyword"
},
"communityname": {
"type": "text"
},
"age": {
"type": "integer"
}
}
}
},
"aliases": [ ],
"primary_terms": {
"0": 1,
"1": 1,
"2": 1
},
"in_sync_allocations": {
"0": [
"CCMRsr2uSQmBj4a4GQisFQ"
,
"0RFsy8yXT6WM25oL8n5gew"
],
"1": [
"2hf4wI1BThSOHCfNqxIFQw"
,
"EUt4DmXeQa-OOFTZC9jP4g"
],
"2": [
"8z1oyQ4WSui8MZvQn7xYTg"
,
"vEbuzvxzTW2y_mokZWQSig"
]
}
}

 

 

 

 

 

 

转载于:https://my.oschina.net/happyBKs/blog/1795508

weixin_34007879
关注
【es】es 分布式一致性原理剖析(二)-Meta篇
九师兄
05-26 902
1.概述 转载：Elasticsearch分布式一致性原理剖析(二)-Meta篇 前言 “Elasticsearch分布式一致性原理剖析”系列将会对Elasticsearch的分布式一致性原理进行详细的剖析，介绍其实现方式、原理以及其存在的问题等(基于6.2版本)。前一篇的内容包括了ES的集群组成、节点发现与Master选举、错误检测与集群扩缩容等。本篇将在前一篇的基础上，重点分析ES中meta更新的一致性问题，为了便于读者理解 ，本文还介绍了Master管理集群的方式、meta组成、存储方式等等。 Ma.
【ES专题】ElasticSearch集群架构剖析_es集群
2401_84159688的博客
04-28 1052
诸如。
Elasticsearch - 集群、索引、文档的基础操作
袭冷
02-15 168
一、集群 健康状态 GET /_cat/health?v 集群节点 GET /_cat/nodes?v 二、索引 列表索引 GET /_cat/indices?v 存在判断 HEAD /goods 创建索引 PUT /goods { "settings": { "number_of_shards": "2", # 分片数 "number_of_replicas": "2" # 副本数 } } 查看索引 GET /goods 修改设置 ...
ES创建索引
ssdwuya的专栏
11-23 1043
curl -XPOST 'http://127.0.0.1:9200/test_product' -d ' { "settings": { "number_otb_shards": 3, "number_otb_replicas": 0, "index.refresh_interval": "10s", "index.tran
容器化部署ES集群
最新发布
秦子腾
08-12 1086
PS：伪集群只在单台服务器中部署的ES集群，并没有分散开，当次服务器宕机后ES集群也就没了，生产环境建议走上面的分散到不通服务器的集群，如果只是测试，伪集群是很好的选择。每个文档都有一个唯一的 ID，并且是以 JSON 格式存储的，一个文档对应一条数据。在ElasticSearch中，索引是文档的集合，类似于关系数据库中的数据库，它是文档的主要存储单位，每个文档都属于一个索引。2、查看索引，返回索引的详细信息，包括设置、Mapping 和索引状态等。1、创建索引，并在请求体中定义索引的设置和映射。
ElasticSearch 索引创建
未来在这儿的专栏
03-21 9621
创建索引是使用Elasticsearch的关键步骤之一。在创建索引时，您需要考虑字段类型、分析器、嵌套和多个映射等因素。您还可以使用别名、分片和副本等功能来提高系统的容错性、性能和可用性。在创建索引之前，请确保您已经安装了Elasticsearch并启动了服务器。您还需要使用适当的REST客户端与服务器进行交互。如果您遇到问题，请查看Elasticsearch文档或参考Elasticsearch社区中的其它资源。#ChatGPT协助生成。
ElasticSearch学习笔记(一)倒排索引、ES和Kibana安装、索引操作
挑灯日记 记录自己
06-20 1248
为此，IK分词器提供了强大的停用词功能，让我们在索引时就直接忽略停用词汇表中的内容。但根据关键词查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的关键词，是。倒排索引结构虽然不复杂，但是一旦数据结构改变（比如改变了分词器），就需要重新创建倒排索引，这又是无法接受的。先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快，而无需全表扫描。但由于网络问题，拉取失败了。则相反，是先找到用户要搜索的词条，根据词条得到保存词条的文档的id，然后根据id获取文档，是。
2024年最新【ES专题】ElasticSearch集群架构剖析_es集群，系列篇
2301_79098963的博客
05-05 871
诸如。
【ES专题】ElasticSearch集群架构剖析_es集群(2)
2401_84166258的博客
04-30 807
诸如。
ElasticSearch部署全攻略——数据迁移_elasticsearch 数据迁移
2301_79098963的博客
04-27 1264
对于elasticsearch迁移，目前主要有三种方式，分别为快照、logstash和elasticsearch-dump。其中logstash需要两个es集群在同一个局域网下，通过源和目标的方式进行数据迁移；elasticsearch-dump可以按需将数据备份后，再进行恢复，但是速度非常慢；快照方式可异地恢复，但恢复的集群es版本不可低于备份集群的版本。就以上特性，根据自己的实际需求，进行选择。但综合起来快照方式的局限性和易操作性最小，因此推荐该种方式。
ES细节说明（倒排索引、文档分析、文档冲突...）
BaseLike的博客
07-27 732
传统的数据库每个字段存储单个值，但这对全文检索并不够。文本字段中的每个单词需要被搜索，对数据库意味着需要单个字段有索引多值的能力。最好的支持是一个字段多个值需求的数据结构是倒排索引。 一、倒排索引概念 Elasticsearch 使用一种称为倒排索引的结构，它适用于快速的全文搜索。见其名，知其意，有倒排索引，肯定会对应有正向索引。 正向索引:（可以类比mysql数据库），就是搜索引擎会将待搜索的文件都对应一个文件 ID，搜索时将这个ID 和搜索关键字进行对应，形成 K-V 对，然后对关键字进行统计计数.
追踪同步分片副本
很多时候，你缺少的不是知识而是热情
11-13 1945
转自： easyice.cn 周末抽空翻译了官网一篇关于 allocation id 的文章，这对理解 ES5之后主分片选举策略至关重要。 原文链接 elasticsearch 通过在集群中保留多个数据副本的方式提供故障转移功能，当出现网络分区或者节点挂掉时，更改操作可能无法在所有副本上完成。这篇博客展示了 elasticsearch 的内部机制之一，如何把未产生更改的 shar
让Elasticsearch飞起来！百亿级实时查询优化实战
华章IT官方博客
05-16 159
作者：土豆的奥特之父来源：51CTO技术栈（ID: blog51cto）最近的一个项目是风控过程数据实时统计分析和聚合的一个 OLAP 分析监控平台，日流量峰值在 10 到 12 亿上下...
es中的Gateway模块
多看多听多总结
04-09 1844
1、简介 负责集群元信息的存储和集群重启时的恢复 2、元数据 元数据信息包含以下几种 集群元数据 索引层面元数据 分片层面元数据 分别对应es中的数据结构 2.1 Metadata 其对应的文件名在datapaths/_state/目录下，对应文件名为global-{generation}.st 包含的信息有 名称 说明 version clusterUUID clusterUUIDCommitted coordinationMetadata
ElasticSearch6.2.4(2)——核心概念和文档实操
ending的博客
04-23 1408
1.核心概念(1)什么是document？document是个文件，里面有很多file。比如{    "name":"小红",    "age":"18"}这就一个文件，而name就是个file，age也是(2)什么是index？在我的理解es里的index概念就像是个数据库，里面存放很多个document(3)什么是type？比如document是存放动物的数据，那么type就是把动物的类型分类...
怎样合理创建es索引_ES（ElasticSearch） 索引创建
weixin_34626572的博客
12-24 3159
环境：ES 6.2.2os：Centos 7kibana:6.2.21、创建新的索引(index)PUT indexTest001结果：2、索引设置ES 默认提供了好多索引配置选项，参考https://www.elastic.co/guide/en/elasticsearch/reference/5.6/index-modules.html，这些配置选项都有经过优化的默认配置值，除非你非常清楚这...
Elasticsearch（五）——乐观锁并发控制 if_seq_no 和 if_primary_term 详解
qq_40297844的博客
09-08 2648
if_seq_no 和 if_primary_term 详解 1 创建一简单文档 2. 修改文档，_seq_no会+1 3. 修改文档，带上if_seq_no和if_primary_term 4. 修改文档，模拟并发 5. 删除文档，_seq_no还是会+1 6. seq_no递增属于整个index，而不是单个文档 if_seq_no 和 if_primary_term 是用来并发控制，他们和version不同，version属于当个文档，而seq_no属于整个index。 1 创建一简单文档 PUT /p
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值