关闭

Elasticsearch 5.4 Indices(索引) API

标签: elasticsearch索引索引api
2062人阅读 评论(0) 收藏 举报
分类:


前言

声明:本博客根据ELasticsearch官网文档翻译整理,转载请注明出处:http://blog.csdn.net/napoay


索引API可以用于管理单个索引、索引设置、别名、映射和索引模板。

一、索引管理

1.1 创建索引

创建索引

PUT twitter

默认分片为5,副本为1.

创建索引并指定分片数和副本数:

PUT twitter
{
    "settings" : {
        "index" : {
            "number_of_shards" : 3, 
            "number_of_replicas" : 2 
        }
    }
}

或者简写为:

PUT twitter
{
    "settings" : {
        "number_of_shards" : 3,
        "number_of_replicas" : 2
    }
}

创建索引并指定mapping:

PUT test
{
    "settings" : {
        "number_of_shards" : 1
    },
    "mappings" : {
        "type1" : {
            "properties" : {
                "field1" : { "type" : "text" }
            }
        }
    }
}

1.2 删除索引

DELETE /twitter

1.3 查看索引信息

查看所有的settings、别名、mapping,命令:

GET /twitter

添加参数过滤信息:

GET twitter/_settings,_mappings

1.4 索引是否存在

如果想知道集群中是否存在某个索引,可以使用以下命令:

HEAD twitter

如果存在,返回状态码200:

200 - OK

如果不存在,返回状态码404:

404 - Not Found

1.5 关闭/打开索引

对于不使用的索引,关闭索引可以节省开销,但是索引关闭以后读写操作是无法进行的。

打开索引:

POST /my_index/_close

关闭索引:

POST /my_index/_open

可以同时关闭多个索引,如果其中有索引不存在会报异常,可以使用ignore_unavailable=true参数忽略不存在索引。

1.6 索引收缩

shrink index AP可以把一个索引变成一个更少分片的索引,但是收缩后的分片数必须是原始分片数的因子(因子就是所有可以整除这个数的数,不包括这个数自身),比如有8个分片的索引可以收缩为4、2、1,有15个分片的索引可以收缩为5、3、1,如果分片数为素数(7、11等),那么只能收缩为1个分片。 收缩索引之前,索引中的每个分片都要在同一个节点上。

收缩索引的完成过程:

  • 首先,创建了一个新的目标索引,设置与源索引相同,但新索引的分片数量较少。
  • 然后把源索引的段到硬链接到目标索引。(如果文件系统不支持硬链接,那么所有段都被复制到新索引中,这是一个耗费更多时间的过程。)
  • 最后,新的索引恢复使用,好像它是一个刚刚重新开放的封闭索引。

搜索之前,使索引为只读状态并使分片重新分配到同一个节点:

PUT /my_source_index/_settings
{
  "settings": {
    "index.routing.allocation.require._name": "shrink_node_name", 
    "index.blocks.write": true 
  }
}

设置目标索引名和分片数,别名可选:

POST my_source_index/_shrink/my_target_index
{
  "settings": {
    "index.number_of_replicas": 1,
    "index.number_of_shards": 1, 
    "index.codec": "best_compression" 
  },
  "aliases": {
    "my_search_indices": {}
  }
}

1.7 翻滚索引

二、mapping管理

2.1 设置mapping

put mapping可以给一个已存在的索引增加type的mapping,也可以给一个存在的type增加字段的mapping。

PUT twitter 
{
  "mappings": {
    "tweet": {
      "properties": {
        "message": {
          "type": "text"
        }
      }
    }
  }
}

PUT twitter/_mapping/user 
{
  "properties": {
    "name": {
      "type": "text"
    }
  }
}

PUT twitter/_mapping/tweet 
{
  "properties": {
    "user_name": {
      "type": "text"
    }
  }
}

一般情况下字段的mapping设置是不可以更新的,有几个特例除外:

  • properties嵌套属性可以新增
  • ignore_above 参数的值可以更新
PUT my_index 
{
  "mappings": {
    "user": {
      "properties": {
        "name": {
          "properties": {
            "first": {
              "type": "text"
            }
          }
        },
        "user_id": {
          "type": "keyword"
        }
      }
    }
  }
}

PUT my_index/_mapping/user
{
  "properties": {
    "name": {
      "properties": {
        "last": { 
          "type": "text"
        }
      }
    },
    "user_id": {
      "type": "keyword",
      "ignore_above": 100 
    }
  }
}

2.2 查看mapping

查看一个索引的mapping:

GET /twitter/_mapping

查看一个索引的一个type的mapping:

GET /twitter/_mapping/tweet

查看所有索引的mapping:

GET /_mapping

或者:

GET /_all/_mapping

2.3 获取字段mapping

get field mapping api可以查看索引的一个或多个字段的mapping,设置创建一个索引做测试:

PUT publications
{
    "mappings": {
        "article": {
            "properties": {
                "id": { "type": "text" },
                "title":  { "type": "text"},
                "abstract": { "type": "text"},
                "author": {
                    "properties": {
                        "id": { "type": "text" },
                        "name": { "type": "text" }
                    }
                }
            }
        }
    }
}
GET publications/_mapping/article/field/title
GET publications/_mapping/article/field/id
GET publications/_mapping/article/field/author.id

2.4 类型是否存在

查看索引是否存在某个type:

HEAD twitter/_mapping/tweet

返回值为200说明存在,404说明不存在。

三、别名管理

3. 1 索引别名设置

可以给一个或多个索引设置别名,但是别名不能和已有索引名称相同。
给索引名为test1的索引设置别名为alias1:

POST /_aliases
{
    "actions" : [
        { "add" : { "index" : "test1", "alias" : "alias1" } }
    ]
}

移除别名:

POST /_aliases
{
    "actions" : [
        { "remove" : { "index" : "test1", "alias" : "alias1" } }
    ]
}

更新别名的映射关系就是先移除再添加:

POST /_aliases
{
    "actions" : [
        { "remove" : { "index" : "test1", "alias" : "alias1" } },
        { "add" : { "index" : "test2", "alias" : "alias1" } }
    ]
}

也可以同时给多个索引设置同一个别名:

POST /_aliases
{
    "actions" : [
        { "add" : { "index" : "test1", "alias" : "alias1" } },
        { "add" : { "index" : "test2", "alias" : "alias1" } }
    ]
}

也可以使用通配符,一下所有以test开头的索引都设置别名为all_test_indices:

POST /_aliases
{
    "actions" : [
        { "add" : { "index" : "test*", "alias" : "all_test_indices" } }
    ]
}

四、索引配置

4.1 获取索引设置

查看索引的settings:

GET /twitter/_settings

查看多个索引的settings:

GET /twitter,kimchy/_settings

GET /_all/_settings

GET /log_2013_*/_settings

4.2 更新索引设置

修改副本:

PUT /twitter/_settings
{
    "index" : {
        "number_of_replicas" : 2
    }
}

修改settings用于提高Bulk的导入性能,bulk之前设置刷新时间为-1,也就是bulk导入期间不再刷新:

PUT /twitter/_settings
{
    "index" : {
        "refresh_interval" : "-1"
    }
}

bulk导入之后恢复刷新时间并强制段合并

PUT /twitter/_settings
{
    "index" : {
        "refresh_interval" : "1s"
    }
}
POST /twitter/_forcemerge?max_num_segments=5

4.3 分析器

查看分词标准分词结果:

GET _analyze
{
  "analyzer" : "standard",
  "text" : "this is a test"
}

查看IK分词结果:

GET _analyze
{
  "analyzer" : "ik_smart",
  "text" : "北京今天局地高温"
}

4.4 索引模板

索引模板可以自动匹配新创建的索引。

PUT _template/template_1
{
  "template": "te*",
  "settings": {
    "number_of_shards": 1
  },
  "mappings": {
    "type1": {
      "_source": {
        "enabled": false
      },
      "properties": {
        "host_name": {
          "type": "keyword"
        },
        "created_at": {
          "type": "date",
          "format": "EEE MMM dd HH:mm:ss Z YYYY"
        }
      }
    }
  }
}

删除索引模板:

DELETE /_template/template_1

查看索引模板:

GET /_template

查看一个或多个:

GET /_template/template_1
GET /_template/template_1,template_2

五、监控管理

5.1 索引统计信息

GET /_stats
GET /index1,index2/_stats

以上命令返回的索引的相关信息非常多,可以通过参数过滤https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-stats.html

5.2 索引段

segment是比Lucene索引更小的单位,通过segment可以获取更多的关于分片和索引的信息。

查看索引的段信息:

GET test/_segments

返回结果:

{
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "indices": {
    "test": {
      "shards": {
        "0": [
          {
            "routing": {
              "state": "STARTED",
              "primary": true,
              "node": "3dQd1RRVTMiKdTckM68nPQ"
            },
            "num_committed_segments": 0,
            "num_search_segments": 0,
            "segments": {}
          }
        ],
        "1": [
          {
            "routing": {
              "state": "STARTED",
              "primary": true,
              "node": "3dQd1RRVTMiKdTckM68nPQ"
            },
            "num_committed_segments": 0,
            "num_search_segments": 0,
            "segments": {}
          }
        ],
        "2": [
          {
            "routing": {
              "state": "STARTED",
              "primary": true,
              "node": "3dQd1RRVTMiKdTckM68nPQ"
            },
            "num_committed_segments": 0,
            "num_search_segments": 0,
            "segments": {}
          }
        ],
        "3": [
          {
            "routing": {
              "state": "STARTED",
              "primary": true,
              "node": "3dQd1RRVTMiKdTckM68nPQ"
            },
            "num_committed_segments": 1,
            "num_search_segments": 1,
            "segments": {
              "_1": {
                "generation": 1,
                "num_docs": 1,
                "deleted_docs": 0,
                "size_in_bytes": 3727,
                "memory_in_bytes": 2588,
                "committed": true,
                "search": true,
                "version": "6.5.0",
                "compound": true
              }
            }
          }
        ],
        "4": [
          {
            "routing": {
              "state": "STARTED",
              "primary": true,
              "node": "3dQd1RRVTMiKdTckM68nPQ"
            },
            "num_committed_segments": 1,
            "num_search_segments": 1,
            "segments": {
              "_0": {
                "generation": 0,
                "num_docs": 1,
                "deleted_docs": 0,
                "size_in_bytes": 3206,
                "memory_in_bytes": 2042,
                "committed": true,
                "search": true,
                "version": "6.5.0",
                "compound": true
              }
            }
          }
        ]
      }
    }
  }
}

统计索引占段内存:

curl -s "http://localhost:9200/_cat/segments/test?v&h=shard,segment,size,size.memory" |awk '{sum += $NF} END {print sum}'

5.3 索引恢复

GET index1,index2/_recovery?human
GET _recovery?human&detailed=true

5.4 索引分片存储

六、状态管理

6.1 清除缓存

POST /twitter/_cache/clear

POST /kimchy,elasticsearch/_cache/clear

POST /_cache/clear

6.2 刷新

POST /twitter/_refresh

POST /kimchy,elasticsearch/_refresh

POST /_refresh

6.3 flush

POST twitter/_flush

POST kimchy,elasticsearch/_flush

POST _flush

6.4 强制段合并(force merge)

POST /twitter/_forcemerge

POST /kimchy,elasticsearch/_forcemerge

POST /_forcemerge
1
0
查看评论

elasticsearch 获取索引内容

GET twitter/tweet/0 { "_index": "twitter", "_type": "tweet", "_id": "0", &qu...
  • zhaoyangjian724
  • zhaoyangjian724
  • 2017-02-23 16:21
  • 747

Elasticsearch 5.X下JAVA API使用指南

Elasticsearch 5.0下Java API使用指南一.2.X到5.XElasticsearch 2.x使用java api把elasticsearch安装包下的lib文件夹下的jar文件全部加入到工程类路径即可,换到5.x就不适用了.创建Clien的代码:Settings settings...
  • napoay
  • napoay
  • 2016-12-12 11:45
  • 34085

Elasticsearch 5.4 Documents API

ELasticsearch文档的CRUD主要包括以下2个大的方面:单文档和多文档,翻译如下:一、单文档API1.1 Index API写入文档,索引为twitter,type为tweet,id为1:PUT twitter/tweet/1 { "user" : "...
  • napoay
  • napoay
  • 2017-06-15 22:20
  • 1838

Elasticsearch java API (26) Indices 指标管理

脚本语言编辑 API允许一个设置索引脚本的语言与之交互。如果一个人没有提供默认将使用脚本语言。 指标管理编辑 访问指标Java API,您需要调用 indices()方法从一个 AdminClient: IndicesAdminClient indices...
  • u012116196
  • u012116196
  • 2016-07-04 14:35
  • 1598

Elasticsearch索引mapping的写入、查看与修改

mapping的写入与查看首先创建一个索引:curl -XPOST "http://127.0.0.1:9200/productindex" {"acknowledged":true} 现在只创建了一个索引,并没有设置mapping,查看一下索引mappin...
  • napoay
  • napoay
  • 2016-07-24 09:32
  • 42284

ElasticSearch 索引查询使用指南——详细版

我们通常用用_cat API检测集群是否健康。 确保9200端口号可用:   curl 'localhost:9200/_cat/health?v'     绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因...
  • zhangbin666
  • zhangbin666
  • 2017-06-16 15:50
  • 1585

Elasticsearch 5.0 rollover api 学习

一不留神,Elasticsearch都5.0了,这个是为了追Lucene还是solr? 想想hbase怎么从0.98, 0.99挣扎到1.0,令人唏嘘不已。 els5.0很诱人的,看看这个被招安的曾勇怎么说:http://www.infoq.com/cn/news/2016/08/Elastic...
  • silent1
  • silent1
  • 2016-09-28 16:21
  • 2923

elasticsearch 配置详解

elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日志的,所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下e...
  • qinfei_635879582
  • qinfei_635879582
  • 2016-06-07 13:55
  • 3628

Elasticsearch深入理解(一)

[x] Elasticsearch是一个实时分布式搜索和分析引擎。 维基百科使用Elasticsearch提供全文搜索并高亮关键字,以及输入实时搜索(search-as-you-type)和搜索纠错(did-you-mean)等搜索建议功能。 StackOverflow结合全文搜索与地理位置查询,以...
  • liuzhigang828
  • liuzhigang828
  • 2017-07-24 10:42
  • 291

elasticsearch查看所有index

curl 'localhost:9200/_cat/indices?v'
  • u012307002
  • u012307002
  • 2016-10-17 12:18
  • 6446
    《从Lucene到Elasticsearch:全文检索实战》
    Lucene、ES、ELK开发交流群:370734940
    Lucene、ES、ELK开发交流
    个人资料
    • 访问:935744次
    • 积分:9246
    • 等级:
    • 排名:第2379名
    • 原创:209篇
    • 转载:2篇
    • 译文:6篇
    • 评论:468条
    StackOverFlow
    http://stackoverflow.com/users/6526424
    统计
    博客专栏
    文章分类
    最新评论