ElasticSearch学习笔记-常用操作记录

最新推荐文章于 2022-09-14 22:45:28 发布

人生偌只如初见

最新推荐文章于 2022-09-14 22:45:28 发布

阅读量941

点赞数

分类专栏： ElasticSearch 文章标签： ElasticSearch

本文链接：https://blog.csdn.net/fighting_one_piece/article/details/79298167

版权

ElasticSearch 专栏收录该内容

14 篇文章 0 订阅

订阅专栏

集群相关配置

查看相关信息

curl -XGET 'http://192.168.0.1:9200/_cat/health?v'

curl -XGET 'http://192.168.0.1:9200/_cat/nodes?v'

curl -XGET 'http://192.168.0.1:9200/_cat/allocation?v'

curl -XGET 'http://192.168.0.1:9200/_cat/plugins?v'

curl -XGET 'http://192.168.0.1:9200/_cat/count?v'

curl -XGET 'http://192.168.0.1:9200/_cat/count/index?v'

curl -XGET 'http://192.168.0.1:9200/_cat/indices?v'

curl -XGET 'http://192.168.0.1:9200/_cat/indices/{index}?v'

curl -XGET 'http://192.168.0.1:9200/_cat/shards?v'

curl -XGET 'http://192.168.0.1:9200/_cat/shards/{index}?v'

curl -XGET 'http://192.168.0.1:9200/_cat/segments?v'

curl -XGET 'http://192.168.0.1:9200/_cat/segments/{index}?v'

curl -XGET 'http://192.168.0.1:9200/_cat/aliases?v'

curl -XGET 'http://192.168.0.1:9200/_cat/aliases/{alias}?v'

curl -XGET 'http://192.168.0.1:9200/_cat/thread_pool?v'

curl -XGET 'http://192.168.0.1:9200/_cat/recovery?v'

查看集群健康状态

curl -XGET 'http://192.168.0.1:9200/_cluster/health?pretty=true'

查看集群状态

curl -XGET 'http://192.168.0.1:9200/_cluster/stats?pretty=true'

查看集群配置

curl -XGET 'http://192.168.0.1:9200/_cluster/settings?pretty=true'

修改集群配置

persistent:持久配置 transient:临时配置

线程池相关配置

generic：通用操作，如node discovery。它的类型默认为cached。

index：此线程池用于索引和删除操作。它的类型默认为fixed，size默认为可用处理器的数量，队列的size默认为200。

search：此线程池用于搜索和计数请求。它的类型默认为fixed，size默认为(可用处理器的数量* 3) / 2) + 1，队列的size默认为1000。

suggest：此线程池用于建议器请求。它的类型默认为fixed，size默认为可用处理器的数量，队列的size默认为1000。

get：此线程池用于实时的GET请求。它的类型默认为fixed，size默认为可用处理器的数量，队列的size默认为1000。

bulk：此线程池用于批量操作。它的类型默认为fixed，size默认为可用处理器的数量，队列的size默认为50。

percolate：此线程池用于预匹配器操作。它的类型默认为fixed，size默认为可用处理器的数量，队列的size默认为1000。

curl -XPUT 'http://192.168.0.1:9200/_cluster/settings' -d '{"persistent":{"threadpool.bulk.type": "fixed", "threadpool.bulk.size" : 12, "threadpool.bulk.queue_size" : 1200}}'

curl -XPUT 'http://192.168.0.1:9200/_cluster/settings' -d '{"transient":{"threadpool.bulk.type": "fixed", "threadpool.bulk.size" : 12, "threadpool.bulk.queue_size" : 1200}}'

磁盘相关常用配置

"cluster.routing.allocation.disk.threshold_enabled" : false

cluster.routing.allocation.disk.watermark.low：控制磁盘使用的低水位。默认为85%，意味着如果节点磁盘使用超过85%，则ES不允许在分配新的分片。

cluster.routing.allocation.disk.watermark.high：控制磁盘使用的高水位。默认为90%，意味着如果磁盘空间使用高于90%时，ES将尝试分配分片到其他节点。

上述两个配置可以使用API动态更新，ES每隔30s获取一次磁盘的使用信息，该值可以通过cluster.info.update.interval来设置。

curl -XPUT 'http://192.168.0.1:9200/_cluster/settings' -d' {"persistent" : {"cluster.routing.allocation.disk.watermark.low" : "90%", "cluster.routing.allocation.disk.watermark.high" : "95%"} }'

分片分配相关配置

设置根据集群中机器的状态来重新分配分片，可以设置为可以设置为always, indices_primaries_active和indices_all_active，默认是设置成indices_all_active来减少集群初始启动时机器之间的交互。

curl -XPUT 'http://192.168.0.1:9200/_cluster/settings' -d '{"transient" : {"cluster.routing.allocation.allow_rebalance" : "indices_all_active"}}'

设置在集群中最大允许同时进行分片分布的个数，默认为2，也就是说整个集群最多有两个分片在进行重新分布。

curl -XPUT 'http://192.168.0.1:9200/_cluster/settings' -d '{"transient" : {"cluster.routing.allocation.cluster_concurrent_rebalance" : "2"}}'

设置在节点中最大允许同时进行分片分布的个数，默认为2

curl -XPUT 'http://192.168.0.1:9200/_cluster/settings' -d '{"transient" : {"cluster.routing.allocation.node_concurrent_recoveries" : "2"}}'

指定哪些分片可以参与重新分配。选项有：all(default), primaries(主分片), new_primaries(新增加的主分片), none(禁止自动分配)。

curl -XPUT 'http://192.168.0.1:9200/_cluster/settings' -d '{"transient" : {"cluster.routing.allocation.enable" : "none"}}'

控制延迟多长时间后才开始分配unassigned的分片

curl -XPUT 'http://192.168.0.1:9200/_cluster/settings' -d '{"transient":{"index.unassigned.node_left.delayed_timeout": "5m"}}'

扩容的时候，可以先行设置cluster.routing.allocation.enable=primaries，指只允许移动主shard。当发现shard数已经迁移了一半的时候，改回配置cluster.routing.allocation.enable=all，后面的迁移的是副本shard。这样扩容之后，shard和主shard的分布还是基本均匀的。

重新分配分片

curl -XPOST ‘http://192.168.0.1:9200/_cluster/reroute’ -d ‘{

“commands” : [{“move” : {

“index” : “syslog-v1”, “shard” : 1,

“from_node” : “192.168.0.1”, “to_node” : “192.168.0.2”

}}]}’

curl -XPOST '192.168.0.1:9200/_cluster/reroute' -d '{

"commands" : [ {"allocate" : {

"index" : "syslog-v1", "shard" : 1, "node" : "node-2", "allow_primary" : true

}}]}'

Index索引相关配置

修改副本数量配置

curl -XPUT 'http://192.168.0.1:9200/syslog-v1/_settings' -d '{"index":{"number_of_replicas":"1"}}'

修改数据同步刷新间隔配置

curl -XPUT 'http://192.168.0.1:9200/syslog-v1/_settings' -d '{"index":{"refresh_interval":"60s"}}'

修改索引的缓冲区大小，其默认值为10％，这意味着分配给一个节点的总存储器的10％将被用作索引的缓冲区大小。如果百分比被使用时，也能够设定min_index_buffer_size和max_index_buffer_size

curl -XPUT 'http://192.168.0.1:9200/syslog-v1/settings' -d' {"index" : {"indices.memory.index_buffer_size" : "30%"} }'

修改translog相关配置

curl -XPUT 'http://192.168.0.1:9200/syslog-v1/settings' -d' {"index" : {"index.translog.flush_threshold_ops" : "50000","index.translog.flush_threshold_size":"1gb"} }'

Elastic5 : index.translog.flush_threshold_size

curl -XPOST '192.168.0.1:9200/syslog-v1/_close'

curl -XPUT 'http://192.168.0.1:9200/syslog-v1/_settings' -d '{"index":{

"refresh_interval":"-1",

"indices.memory.index_buffer_size" : "30%",

"index.translog.flush_threshold_ops":"50000",

"index.translog.flush_threshold_size":"1gb"

}}'

curl -XPOST '192.168.0.1:9200/syslog-v1/_open'

别名相关配置

curl -XPUT "http://192.168.0.1:9200/syslog-v1/_alias/syslog"

curl -XPOST "http://192.168.0.1:9200/_aliases" -d ' {

"actions": [

{"remove": {"index": "syslog-v2", "alias": "syslog"}},

{"add": {"index": "syslog-v1", "alias": "syslog"}}

]}'

Index索引优化相关配置

清除已删除的文件

curl -XPOST 'http://192.168.0.1:9200/syslog-v1/_optimize?only_expunge_deletes=true&wait_for_completion=true'

删除了的文档数在一个segment里占的百分比，默认是10，大于这个值时，在执行expungeDeletes 操作时将会merge这些segments.

index.merge.policy.expunge_deletes_allowed

显示调用optimize 操作或者 expungeDeletes时可以操作多少个segments，默认是30.

index.merge.policy.max_merge_at_once_explicit

修改segment最大数配置

curl -XPOST 'http://192.168.0.1:9200/syslog-v1/_optimize?max_num_segments=1'

查看一个索引segment的memory占用情况

curl -XGET "http://192.168.0.1:9200/_cat/segments/syslog-v1?v&h=shard,segment,size,size.memory"

查看Node的memory占用情况

curl -XGET "http://192.168.0.1:9200/_cat/nodes?v&h=name,port,sm"

索引分词相关记录

curl -XGET 'http://192.168.0.1:9200/syslog-v1/_analyze?analyzer=ik&pretty=true' -d '{"text":"太极宗师张三丰"}'

curl -XGET 'http://192.168.0.1:9200/syslog-v1/_analyze?analyzer=ik_smart&pretty=true' -d '{"text":"太极宗师张三丰"}'

curl -XGET 'http://192.168.0.1:9200/syslog-v1/_analyze?analyzer=ik_max_word&pretty=true' -d '{"text":"太极宗师张三丰"}'

http://192.168.0.1:9200/syslog-v1/_analyze?analyzer=ik&text=太极宗师张三丰&pretty=true

Mapping相关配置

新建mapping

curl -XPOST 'http://192.168.0.1:9200/syslog-v1/syslog/_mapping/' -d '{

"dynamic": "strict",

"properties": {

"username": {

"analyzer": "ik_max_word",

"term_vector": "with_positions_offsets",

"type": "string"

}

curl -XPOST 'http://192.168.0.1:9200/syslog-v1/syslog/_mapping' --data-binary @syslog.mapping

读取mapping

curl -XGET 'http://192.168.0.1:9200/syslog-v1/_mappings?pretty=true'

ElasticSearch 7.3.0

设置Setting

curl -XPOST 'http://192.168.0.1:9200/book/_close'

curl -H "Content-Type: application/json" -XPUT 'http://192.168.0.1:9200/book/_settings' -d '
{
"settings" : {
"analysis" : {
"analyzer" : {
"pinyin_analyzer" : {
"tokenizer" : "pinyin_tokenizer"
}
},
"tokenizer" : {
"pinyin_tokenizer" : {
"type" : "pinyin",
"keep_separate_first_letter" : false,
"keep_full_pinyin" : true,
"keep_original" : true,
"limit_first_letter_length" : 16,
"lowercase" : true,
"remove_duplicated_term" : true
}
}
}
}
}
'

curl -XPOST 'http://192.168.0.1:9200/book/_open'

设置Mapping

curl -H "Content-Type: application/json" -XPUT 'http://192.168.0.1:9200/book/_mapping' -d '
{
   "dynamic": "strict",
   "_source": {
       "excludes": ["id"]
   },
   "properties": {
       "id": {
           "type": "keyword"
       },
       "author": {
           "analyzer": "ik_max_word",
           "type": "text",
           "fields": {
               "raw": {
                   "type": "keyword"
               },
               "pinyin1": {
                   "analyzer": "pinyin",
                   "type": "text"
               },
               "pinyin2": {
                   "analyzer": "pinyin_analyzer",
                   "type": "text"
               },
               "traditional": {
                   "analyzer": "stconvert",
                   "type": "text"
               }
}
       },
       "title": {
           "analyzer": "ik_smart",
           "type": "text"
       },
       "describe": {
           "analyzer": "ik_smart",
           "type": "text"
       },
       "publish_time": {
           "type": "date",
           "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
       },
       "type": {
           "type": "keyword"
       }
   }
}
'