Elasticsearch集群缩容

最新推荐文章于 2023-08-31 11:41:36 发布
VIP文章 最新推荐文章于 2023-08-31 11:41:36 发布
阅读量468 收藏
点赞数
文章标签： elasticsearch 运维 安全 linux centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25241721/article/details/117129403
版权

1. 部署图

在这里插入图片描述

1）原ES集群信息
IP 集群名称 http端口号 tcp端口号
192.168.2.11 es_es11223_cluster 11223 11224
192.168.2.12 es_es11223_cluster 11223 11224
192.168.2.13 es_es11223_cluster 11223 11224
192.168.2.14 es_es11223_cluster 11223 11224
192.168.2.15 es_es11223_cluster 11223 11224
192.168.2.16 es_es11223_cluster 11223 11224
2）新ES集群信息
IP 集群名称 http端口号 tcp端口号
192.168.2.14 es_es11223_cluster 11223 11224
192.168.2.15 es_es11223_cluster 11223 11224
192.168.2.16 es_es11223_cluster 11223 11224

2. 检查集群状态

查看集群节点系进行：
# curl http://192.168.2.11:11223/_cat/nodes

192.168.2.16 14 99 0 0.37 0.58 0.72 mdi - 192.168.2.16-11223
192.168.2.14 11 95 0 0.20 0.30 0.46 mdi - 192.168.2.14-11223
192.168.2.15 14 99 0 0.19 0.26 0.41 mdi - 192.168.2.15-11223
192.168.2.13   51 75 1 0.92 0.72 0.85 mdi - 192.168.2.13-11223
192.168.2.11    58 73 0 0.85 0.73 0.67 mdi - 192.168.2.11-11223
192.168.2.12    30 88 0 1.14 0.71 0.68 mdi * 192.168.2.12-11223


检查集群状态是否为green：
# curl http://192.168.2.11:11223/_cat/health?v

epoch      timestamp cluster                status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1621527014 00:10:14  es_es11223_cluster green           6         6    240 120    0    0        0             0                  -                100.0%

3. 动态修改minimum_master_nodes

# curl -H "Content-Type: application/json" -XPUT http://192.168.2.11:11223/_cluster/settings?pretty -d '{
   
   "persistent": {
   
     "discovery.zen.minimum_master_nodes": "4"
 }
 }'
 
 
 {
   
  "acknowledged" : true,
  "persistent" : {
   
    "discovery" : {
   
      "zen" : {
   
        "minimum_master_nodes" : "4"
      }
    }
  },
  "transient" : {
    }
}

 
 注：设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）。

4. 确认自动分片已开启

1）开启集群自动平衡：
# curl -H "Content-Type: application/json"  -XPUT  http://192.168.2.11:11223/_cluster/settings?pretty -d '{"transient": {"cluster.routing.allocation.enable": "all"}}'


2）确认自动平衡已开启：
# curl -H "Content-Type: application/json" -XGET 'http://192.168.2.11:11223/_cluster/settings?pretty'


3）并发恢复分片数调整：
# curl -H "Content-Type: application/json" -XPUT 'http://192.168.2.11:11223/_cluster/settings?pretty' -d '{
   
  "transient": {
   
    "cluster.routing.allocation.node_initial_primaries_recoveries": "16"
}
}'

注：cluster.routing.allocation.node_initial_primaries_recoveries，初始化数据恢复时，并发恢复线程的个数，默认为4。


4）recovery并发数调整：
# curl -H "Content-Type: application/json" -XPUT 'http://192.168.2.11:11223/_cluster/settings?pretty' -d '{
   
  "transient": {
   
    "cluster.routing.allocation.node_concurrent_recoveries": "8"
}
}'


注：cluster.routing.allocation.node_concurrent_recoveries，添加或删除节点或负载均衡时并发恢复线程的个数，默认为4。


5）平衡并发数调整：
# curl -H "Content-Type: application/json" -XPUT 'http://192.168.2.11:11223/_cluster/settings?pretty' -d '{
   
  "transient": {
   
    "cluster.routing.allocation.cluster_concurrent_rebalance": "20"
}
}'

注：cluster.routing.allocation.cluster_concurrent_rebalance，设置集群级别平衡过程中的shard并发度设置，默认为2。


6）检查集群自平衡配置：
# curl -H "Content-Type: application/json" -XGET 'http://192.168.2.11:11223/_cluster/settings?pretty'


{
   
  "persistent" : {
   
    "discovery" : {
   
      "zen" : {
   
        "minimum_master_nodes" : "4"
      }
    }
  },
  "transient" : {
   
    "cluster" : {
   
      "routing" : {
   
        "allocation" : {
   
          "cluster_concurrent_rebalance" : "20",
          "node_concurrent_recoveries" : "8",
          "node_initial_primaries_recoveries" : "16",
          "enable" : "all"
        }
      }
    }
  }
}

5. 关闭192.168.2.11:11223节点

5.1. 查看集群shards数量

确定分片是否同步完成：
# curl "192.168.2.14:11223/_cat/allocation?v"

​```缩容前```
shards disk.indices disk.used disk.avail disk.total disk.percent host           ip             node
    40       80.2gb    93.8gb      5.3tb      5.4tb            1 192.168.2.13   192.168.2.13   192.168.2.13-11223
    40       76.9gb   103.7gb      3.5tb      3.6tb            2 192.168.2.12    192.168.2.12    192.168.2.12-11223
    40       81.9gb   482.7gb        3tb      3.4tb           13 192.168.2.16 192.168.2.16 192.168.2.16-11223
    40       79.4gb   174.6gb      5.2tb      5.4tb            3 192.168.2.11    192.168.2.11    192.168.2.11-11223
    40       79.2gb   461.3gb        3tb      3.4tb           12 192.168.2.14 192.168.2.14 192.168.2.14-11223
    40       81.3gb   475.4gb        3tb      3.4tb           13 192.168.2.15 192.168.2.15 192.168.2.15-11223


​```缩容后```

5.2. 将192.168.2.11:11223节点从集群中exclude

1）查看集群节点信息
# curl http://192.168.2.14:11223/_cat/nodes?v

ip             heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.2.15           18          99   0    0.48    0.48     0.49 mdi       -      192.168.2.15-11223
192.168.2.11              62          73   0    0.32    0.54     0.61 mdi       -      192.168.2.11-11223
192.168.2.16           14          99   1    0.26    0.32     0.40 mdi       -      192.168.2.16-11223
192.168.2.14           14          95   0    0.11    0.22     0.29 mdi       -      192.168.2.14-11223
192.168.2.12              29          88   0    0.23    0.45     0.58 mdi       *      192.168.2.12-11223
192.168.2.13             55          75   0    0.94    0.80     0.78 mdi       -      192.168.2.13-11223


2）将192.168.2.11:11223节点从集群中exclude
# curl -H "Content-Type: application/json" -XPUT http://192.168.2.14:11223/_cluster/settings?pretty -d '{
   
"transient" : {
   
  "cluster.routing.allocation.exclude._name" : "192.168.2.11-11223"
}}'

3）确认此节点已加入到exclude中
# curl -H "Content-Type: application/json" -XGET 'http://192.168.2.14:11223/_cluster/settings?pretty'

{
   
  "persistent" : {
   
    "discovery" : {
   
      "zen" : {
   
        "minimum_master_nodes" : "4"
      }
    }
  },
  "transient" : {
   
    "cluster" : {
   
      "routing" : {
   
        "allocation" : {
   
          "cluster_concurrent_rebalance" : "20",
          "node_concurrent_recoveries" : "8",
          "exclude" : {
   
            "_name" : "192.168.2.11-11223"
          },
          "node_initial_primaries_recoveries" : "16",
          "enable" : "all"
        }
      }
    }
  }
}


4）查看集群节点信息
# curl http://192.168.2.14:11223/_cat/nodes?v

ip             heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.2.15           12          99   0    0.36    0.45     0.48 mdi       -      192.168.2.15-11223
192.168.2.11              57          73   0    0.45    0.55     0.61 mdi       -      192.168.2.11-11223
192.168.2.16           19          99   1    0.43    0.35     0.41 mdi       -      192.168.2.16-11223
192.168.2.14           18          95   0    0.20    0.23     0.30 mdi       -      192.168.2.14-11223
192.168.2.12              33          88   0    0.95    0.61     0.63 mdi       *      192.168.2.12-11223
192.168.2.13             52          75   1    0.90    0.80     0.79 mdi       -      192.168.2.13-11223

5.3. 查看自平衡进度

1）确认192.168.2.11:11223节点下已无分片后，再关闭实例（执行kill）

# curl -X GET "http://192.168.2.14:11223/_cat/shards"|grep RELO
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 21416  100 21416    0     0   853kidx-xxx000-justtest-1 5 r RELOCATING 3251629   2.8gb 192.168.2.11    192.168.2.11-11223 -> 192.168.2.12 IqCBPkvLQHyS_MwhJ1ylaw 192.168.2.12-11223
      0 --:--:-- --:--:-- --:--:--  871k


# watch "curl -X GET "http://192.168.2.14:11223/_cat/shards"|grep RELO|wc -l"


# curl http://192.168.2.14:11223/_cat/nodes?v
ip             heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.2.15           13         100   0    0.27    0.27     0.33 mdi       -      192.168.2.15-11223
192.168.2.11              61          45   0    0.89    0.72     0.67 mdi       -      192.168.2.11-11223
192.168.2.16           16          98   0    0.43    0.37     0.38 mdi       -      192.168.2.16-11223
192.168.2.14           13          96   0    0.58    0.50     0.50 mdi       -      192.168.2.14-11223
192.168.2.12              29          97   0    0.44    0.41     0.54 mdi       *      192.168.2.12-11223
192.168.2.13             52          87   0    1.11    1.20     1.07 mdi       -      192.168.2.13-11223



2）检查集群green，且无unassign、init、repl等分片操作即可执行下一步
# curl http://192.168.2.14:11223/_cat/health?v

epoch      timestamp cluster                status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1621530304 01:05:04  es_es11223_cluster green           6         6    240 120    0    0        0             0                  -                100.0%

5.4. 核对集群shards数量

确定分片是否同步完成：
# curl "192.168.2.14:11223/_cat/allocation?v"


​```缩容前```
shards disk.indices disk.used disk.avail disk.total disk.percent host           ip             node
    40       80.2gb    93.8gb      5.3tb      5.4tb            1 192.168.2.13   192.168.2.13   192.168.2.13-11223
    40       76.9gb   103.7gb      3.5tb      3.6tb            2 192.168.2.12    192.168.2.12    192.168.2.12-11223
    40       81.9gb   482.7gb        3tb      3.4tb           13 192.168.2.16 192.168.2.16 192.168.2.16-11223
    40       79.4gb   174.6gb      5.2tb      5.4tb            3 192.168.2.11    192.168.2.11    192.168.2.11-11223
    40       79.2gb   461.3gb        3tb      3.4tb           12 192.168.2.14 192.168.2.14 192.168.2.14-11223
    40       81.3gb   475.4gb        3tb      3.4tb           13 192.168.2.15 192.168.2.15 192.168.2.15-11223


​```缩容后```
shards disk.indices disk.used disk.avail disk.total disk.percent host           ip             node
    48       96.9gb   493.3gb        3tb      3.4tb           13 192.168.2.15 192.168.2.15 192.168.2.15-11223
     0           0b    85.7gb      5.3tb      5.4tb            1 192.168.2.11    192.168.2.11    192.168.2.11-11223
    48       88.7gb   116.6gb      3.5tb      3.6tb            3 192.168.2.12    192.168.2.12    192.168.2.12-11223
    48         98gb   501.6gb      2.9tb      3.4tb           14 192.168.2.16 192.168.2.16 192.168.2.16-11223
    48       96.8gb   481.6gb        3tb      3.4tb           13 192.168.2.14 192.168.2.14 192.168.2.14-11223
    48       95.6gb   111.2gb      5.3tb      5.4tb            1 192.168.2.13   192.168.2.13   192.168.2.13-11223

5.5. kill进程

1）kill elasticsearch进程：
# ps -ef|grep -v grep | grep 11223
cyread   10203  5838  0 00:57 pts/3    00:00:00 watch curl -X GET http://192.168.2.14:11223/_cat/shards | grep RELO | wc -l
es       14680     1 51  2020 ?        140-13:05:55 /usr/server/jdk8/bin/java -Xms30g -Xmx30g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -server -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -XX:+HeapDumpOnOutOfMemoryError -Des.allow_insecure_settings=true -Des.path.home=/data/PaaS/es11223 -Des.path.conf=/data/PaaS/es/11223/config -cp /data/PaaS/es/11223/lib/* org.elasticsearch.bootstrap.Elasticsearch -d
root     24237 18650  0 01:06 pts/1    00:00:00 grep --color=auto 11223

# kill 14680

# ps -ef|grep -v grep | grep 11223


2）查看集群状态
# curl http://192.168.2.14:11223/_cat/health?v
epoch      timestamp cluster                status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1621530446 01:07:26  es_es11223_cluster green           5         5    240 120    0    0        0             0                  -                100.0%
# curl http://192.168.2.14:11223/_cat/nodes?v
ip             heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.2.15           18         100   0    0.24    0.25     0.31 mdi       -      192.168.2.15-11223
192.168.2.14           19          96   0    0.43    0.43     0.47 mdi       -      192.168.2.14-11223
192.168.2.16           11          98   1    0.22    0.35     0.38 mdi       -      192.168.2.16-11223
192.168.2.12              24          97   0    0.24    0.32     0.48 mdi       *      192.168.2.12-11223
192.168.2.13             56          87   0    0.56    0.92     0.98 mdi       -      192.168.2.13-11223

6. 关闭192.168.2.12:11223节点

6.1. 查看集群shards数量

确定分片是否同步完成：
# curl "192.168.2.14:11223/_cat/allocation?v"

​```缩容前```
shards disk.indices disk.used disk.avail disk.total disk.percent host           ip             node
    48       95.4gb     111gb      5.3tb      5.4tb            1 192.168.2.13   192.168.2.13   192.168.2.13-11223
    48       88.6gb   116.1gb      3.5tb      3.6tb            3 192.168.2.12    192.168.2.12    192.168.2.12-11223
    48       96.6gb   480.9gb        3tb      3.4tb           13 192.168.2.14 192.168.2.14 192.168.2.14-11223
    48       98.1gb   501.1gb        3tb      3.4tb           14 192.168.2.16 192.168.2.16 192.168.2.16-11223
    48       96.9gb   492.9gb        3tb      3.4tb           13 192.168.2.15 192.168.2.15 192.168.2.15-11223



​```缩容后```

6.2. 将192.168.2.12:11223节点从集群中exclude

1）查看集群节点信息

# curl http://192.168.2.14:11223/_cat/health?v
epoch      timestamp cluster                status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1621530760 01:12:40  es_es11223_cluster green           5         5    240 120    0    0        0             0                  -                100.0%



# curl http://192.168.2.14:11223/_cat/nodes?v

ip             heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.2.15           10          99   0    0.86    0.44     0.37 mdi       -      192.168.2.15-11223
192.168.2.14           13          96   0    0.23    0.38     0.45 mdi       -      192.168.2.14-11223
192.168.2.16           14          98   1    0.17    0.31     0.36 mdi       -      192.168.2.16-11223
192.168.2.12              25          97   0    0.46    0.34     0.44 mdi       *      192.168.2.12-11223
192.168.2.13             52          87   0    0.91    0.82     0.91 mdi       -      192.168.2.13-11223


2）将192.168.2.11:11223节点从集群中exclude
# curl -H "Content-Type: application/json" -XPUT http://192.168.2.14:11223/_cluster/settings?pretty -d '{
   
"transient" : {
   
  "cluster.routing.allocation.exclude._name" : "192.168.2.12-11223"
}}'


{
  "acknowledged" : true,
  "persistent" : { },
  "transient" : {
    "cluster" : {
      "routing" : {
        "allocation" : {
          "exclude" : {
            "_name" : "192.168.2.12-11223"
          }
        }
      }
    }
  }
}


3）确认此节点已加入到exclude中
# curl -H "Content-Type: application/json" -XGET 'http://192.168.2.14:11223/_cluster/settings?pretty'


{
   
  "persistent" : {
   
    "discovery" : {
   
      "zen" : {
   
        "minimum_master_nodes" : "4"
      }
    }
  },
  "transient" : {
   
    "cluster" : {
   
      "routing" : {
   
        "allocation" : {
   
          "cluster_concurrent_rebalance" : "20",
          "node_concurrent_recoveries" : "8",
          "exclude" : {
   
            "_name" : "192.168.2.12-11223"
          },
          "node_initial_primaries_recoveries" : "16",
          "enable" : "all"
        }
      }
    }
  }
}


4）查看集群节点信息
# curl http://192.168.2.14:11223/_cat/nodes?v

ip             heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.2.15           16         100   0    0.85    0.51     0.39 mdi       -      192.168.2.15-11223
192.168.2.14           18          97   0    0.22    0.35     0.44 mdi       -      192.168.2.14-11223
192.168.2.16           19          98   1    0.40    0.34     0.36 mdi       -      192.168.2.16-11223
192.168.2.12              28          97   0    0.48    0.37     0.44 mdi       *      192.168.2.12-11223
192.168.2.13             51          87   1    0.69    0.77     0.89 mdi       -      192.168.2.13-11223

6.3. 查看自平衡进度

1）确认192.168.2.11:11223节点下已无分片后，再关闭实例（执行kill）

# curl -X GET "http://192.168.2.14:11223/_cat/shards"|grep RELO

# watch "curl -X GET "http://192.168.2.14:11223/_cat/shards"|grep RELO|wc -l"

# curl -s "http://192.168.2.14:11223/_cat/shards"|grep 192.168.2.12-11223


2）检查集群green，且无unassign、init、repl等分片操作即可执行下一步
#  curl http://192.168.2.14:11223/_cat/health?v
epoch      timestamp cluster                status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1621532261 01:37:41  es_es11223_cluster green           5         5    240 120    0    0        0             0                  -                100.0%

6.4. 核对集群shards数量

确定分片是否同步完成：
# curl "192.168.2.14:11223/_cat/allocation?v"

​```缩容前```
shards disk.indices disk.used disk.avail disk.total disk.percent host           ip             node
    48       95.4gb     111gb      5.3tb      5.4tb            1 192.168.2.13   192.168.2.13   192.168.2.13-11223
    48       88.6gb   116.1gb      3.5tb      3.6tb            3 192.168.2.12    192.168.2.12    192.168.2.12-11223
    48       96.6gb   480.9gb        3tb      3.4tb           13 192.168.2.14 192.168.2.14 192.168.2.14-11223
    48       98.1gb   501.1gb        3tb      3.4tb           14 192.168.2.16 192.168.2.16 192.168.2.16-11223
    48       96.9gb   492.9gb        3tb      3.4tb           13 192.168.2.15 192.168.2.15 192.168.2.15-11223

​```缩容后```
shards disk.indices disk.used disk.avail disk.total disk.percent host           ip             node
    60      117.7gb   504.4gb      2.9tb      3.4tb           14 192.168.2.14 192.168.2.14 192.168.2.14-11223
    60      119.1gb   525.5gb      2.9tb      3.4tb           14 192.168.2.16 192.168.2.16 192.168.2.16-11223
    60      119.4gb   138.9gb      5.3tb      5.4tb            2 192.168.2.13   192.168.2.13   192.168.2.13-11223
     0           0b    17.2gb      3.6tb      3.6tb            0 192.168.2.12    192.168.2.12    192.168.2.12-11223
    60      118.7gb     518gb      2.9tb      3.4tb           14 192.168.2.15 192.168.2.15 192.168.2.15-11223

6.5. kill进程

1）kill elasticsearch进程：
# ps -ef|grep -v grep | grep 11223
cyread   10203  5838  0 00:57 pts/3    00:00:00 watch curl -X GET http://192.168.2.14:11223/_cat/shards | grep RELO | wc -l
es       14680     1 51  2020 ?        140-13:05:55 /usr/server/jdk8/bin/java -Xms30g -Xmx30g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -server -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -XX:+HeapDumpOnOutOfMemoryError -Des.allow_insecure_settings=true -Des.path.home=/data/PaaS/es11223 -Des.path.conf=/data/PaaS/es/11223/config -cp /data/PaaS/es/11223/lib/* org.elasticsearch.bootstrap.Elasticsearch -d
root     24237 18650  0 01:06 pts/1    00:00:00 grep --color=auto 11223

# kill 14680

# ps -ef|grep -v grep | grep 11223


2）查看集群状态
# curl http://192.168.2.14:11223/_cat/health?v
epoch      timestamp cluster                status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1621532326 01:38:46  es_es11223_cluster green           4         4    240 120    0    0        0             0                  -                100.0%

# curl http://192.168.2.14:11223/_cat/nodes?v
ip             heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.2.14           15          95   0    0.35    0.36     0.40 mdi       -      192.168.2.14-11223
192.168.2.15           13          99   0    0.15    0.29     0.37 mdi       *      192.168.2.15-11223
192.168.2.16           13          97   0    0.41    0.43     0.42 mdi       -      192.168.2.16-11223
192.168.2.13             53          98   0    0.52    0.94     1.04 mdi       -      192.168.2.13-11223

7. 关闭192.168.2.13:11223节点

7.1. 查看集群shards数量

确定分片是否同步完成：
# curl "192.168.2.14:11223/_cat/allocation?v"

​```缩容前```
shards disk.indices disk.used disk.avail disk.total disk.percent host           ip             node
    60      119.4gb   137.9gb      5.3tb      5.4tb            2 192.168.2.13   192.168.2.13   192.168.2.13-11223
    60      118.7gb     518gb      2.9tb      3.4tb           14 192.168.2.15 192.168.2.15 192.168.2.15-11223
    60      117.6gb   504.3gb      2.9tb      3.4tb           14 192.168.2.14 192.168.2.14 192.168.2.14-11223
    60      119.1gb   525.4gb      2.9tb      3.4tb           14 192.168.2.16 192.168.2.16 192.168.2.16-11223


​```缩容后```

7.2. 将192.168.2.11:11223节点从集群中exclude

1）动态设置minimum_master_nodes
# curl -H "Content-Type: application/json" -XPUT http://192.168.2.13:11223/_cluster/settings?pretty -d '{
   
   "persistent": {
   
     "discovery.zen.minimum_master_nodes": "3"
 }
 }'
 
 {
  "acknowledged" : true,
  "persistent" : {
    "discovery" : {
      "zen" : {
        "minimum_master_nodes" : "3"
      }
    }
  },
  "transient" : { }
}

 
 注：设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）。
 
 
2）查看集群节点信息
# curl http://192.168.2.14:11223/_cat/nodes?v

ip             heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.2.14           14          95   0    0.20    0.30     0.37 mdi       -      192.168.2.14-11223
192.168.2.15           12          99   0    0.25    0.23     0.32 mdi       *      192.168.2.15-11223
192.168.2.16           11          97   1    0.35    0.37     0.39 mdi       -      192.168.2.16-11223
192.168.2.13             53          98   0    0.51    0.78     0.96 mdi       -      192.168.2.13-11223


3）将192.168.2.11:11223节点从集群中exclude
# curl -H "Content-Type: application/json" -XPUT http://192.168.2.14:11223/_cluster/settings?pretty -d '{
   
"transient" : {
   
  "cluster.routing.allocation.exclude._name" : "192.168.2.13-11223"
}}'


4）确认此节点已加入到exclude中
# curl -H "Content-Type: application/json" -XGET 'http://192.168.2.14:11223/_cluster/settings?pretty'
最低0.47元/天 解锁文章
Zhi@Li
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
ese:将 Elasticsearch 索引从一个集群导出到另一个集群的工具
05-30
ESE 是一个受和启发的。 此脚本从 Elasticsearch 滚动 API 检索以从源和多处理检索以在目标服务器上建立索引。 它使用 RequestsHttpConnection 进行 gzip 压缩。 安装 pip install ese 对于勇敢... pip install -e git+https://github.com/merlin83/ese#egg=ese 用法 usage: ese.py [-h] [--src-host SRC_HOST] [--src-port SRC_PORT] [--src-index SRC_INDEX] [--src-batch-size SRC_BATCH_SIZE] [--dest-host DEST_HOST] [--dest-port DEST_PORT]
《Linux运维总结：elasticsearch2.x集群数据迁移elasticsearch6.x集群》
东城绝神
05-17 564
《Linux运维总结：elasticsearch2.x集群数据迁移elasticsearch7.x》
ELK-02-elasticsearch集群部署和节点扩缩
Rorschach的博客
07-14 825
文章目录0. 测试环境信息1. 集群部署2. 节点扩缩测试3.实际案例分享3.1 环境信息3.2 操作过程3.3 注意事项 0. 测试环境信息 主机 系统 节点 http.port tcp.port 集群 es版本 192.168.10.201 centos7.5 es-1 10010 9300 ror-es 5.4 192.168.10.201 centos7.5 es-2 10011 9300 ror-es 5.4 192.168.10.201 centos7.5 es-3 10
elasticsearch 集群在线水平扩容收缩
weixin_34167819的博客
06-04 1744
2019独角兽企业重金招聘Python工程师标准>>> ...
完美避坑。记一次Elasticsearch集群迁移架构实战
代码界的扛把子
04-28 617
前言 Elastic自身设计了集群分片的负载平衡机制，当有新数据节点加入集群或者离开集群，集群会自动平衡分片的负载分布。 需求背景 公司原有大数据平台基于公有云构建，由于种种原因，现在需要迁移到自建机房，Elasticsearch集群承担了大数据平台主要的对外查询需求，也有部分实时计算需求基于Elasticsearch实现，所以需要在不影响应用系统体验的情况下做到平滑的迁移。本次分享讲述我们如何进行平滑迁移以及如何避坑。 需要迁移的主要有两部分： 对外提供的服务API，这些API是与Elastic
ElasticSearch集群缩容
u013367040的博客
09-16 1214
elasticsearch 集群缩容
es集群缩容方案（含一个master节点的缩容）
一只小白
03-07 3420
背景 es虚拟机集群es-mini集群，一共有20个节点，目前需要缩容2台，两台节点分别为：192.168.0.20（data节点），192.168.0.3（master/data节点）。 本文有几个不同。我们es安装在es用户下，安装目录在/home/es/software，其中es设置了软连接，在elasticsearch下，配置文件单独存放在/home/es/software/configs/es-mini目录下。启动脚本是自己写的es-daemon.sh，所以stop和start和开源有所不同。
【ES实战】ES集群节点迁移与缩容
coding and writing
12-30 2721
ES集群节点迁移与缩容
Elasticsearch 7.9 之 Scalability and resilience：clusters, nodes and shards
王大呀呀的博客
12-08 189
Elasticsearch 旨在始终可用并根据您的需求扩展。它是通过自然分布来实现的。您可以将服务器（节点）添加到集群以增加容量，Elasticsearch 会自动在所有可用节点之间分配数据和查询负载。无需大修大改您的应用程序，Elasticsearch 知道如何平衡多节点集群以提供扩展性和高可用性，节点越多越好。 这是如何运作的？在幕后，Elasticsearch 索引实际上只是一个或多个物理碎片的逻辑分组，其中每个碎片实际上是一个独立的索引。通过将一个索引中的文档分配在多个分片，并将这些分片在多个节点之
Elasticsearch原理学习（四）分片、副本、缩容与扩容
qq_27403059的博客
04-12 1370
我们的分析过程基于之前章节搭建的es集群为基础。 一、分片 什么是分片？ 分片的存在是为了解决单个索引大量文档的存储问题、以及搜索响应慢等问题。从而将一个索引划分成了多份，每一份就称之为分片。每个分片也是一个功能完善的“索引”，这个“索引”可以被放置到集群的任意节点上。 分片存在的重要原因有以下两个： 1）允许水平分扩展容量。 2）允许在分片之上进行分布式的，并行的操作，从而提高其吞吐量。 上面所说的分片其实指的是lucene的索引，一个分片就是一个lucene索引。一个elasticsearch索引就是
Elasticsearch集群模式部署
06-30
学习总结资料
SpringBoot整合elasticsearch集群
01-07
8.2.8 SpringBoot整合elasticsearch集群 Spring 是最受欢迎的企业级 Java 应用程序开发框架，数以百万的来自世界各地的开发人员使用 Spring 框架来创建性能好、易于测试、可重用的代码。Spring Boot是由Pivotal团队...
Docker部署Elasticsearch集群
01-07
1、配置环境参数 cat /etc/hosts 172.16.1.1 test-es01 172.16.1.2 test-es02 172.16.1.3 test-es03 # grep vm.max_map_count /...mkdir -p /data/server/elasticsearch/{esdata01,esdata02,esdata03} chown 1000.
一键部署elasticsearch集群/单机版shell脚本(适用于Centos7 x86服务器)
04-21
该安装包实现利用给定参数安装单机版或者集群版es数据库，指定参数后安装过程全自动，自动修改系统内核，配置jdk，自动识别并配置内存，自动根据节点数配置集群脑溢节点配置数。涉及到以下操作 1、自动检测配置java...
ElasticSearch集群搭建.doc
12-15
采用三台CentOS7.2部署Elasticsearch集群，部署Elasticsearch集群就不得不提索引分片，以下是索引分片的简单介绍。
Elasticsearch 之 分片无法分配问题
freedom_zzz的博客
08-28 2285
一、重新启用分片分配 在新加入节点或者新创建一个索引时，会出现如下图所示情况，节点未自动分配到任何节点，一般原因是关闭了自动平衡分配原则。 重新启用分片自动分配到节点curl -XPUT 'localhost:9200/_cluster/settings' -d '{ "transient": { "cluster.routing.allocation.enable" : "all" } }' 关闭分片自动分配curl -XPUT 'localhost:9200/_clust
springboot+Elasticsearch实现word，pdf，txt内容抽取并高亮分词全文检索
热门推荐
weixin_43998777的博客
08-11 13万+
Java集成es实现对文本类型附件的内容抽取并实现高亮显示分词，全文检索内容
Elasticsearch终端命令行用法大全
天涯的浪子
08-31 1502
curl -H "Content-Type:application/json" -XPOST http://ip:port/索引名/_doc/01?pretty -d '{"id":"34234","name":"李四"}' --新增修改一条document文档信息,documentId为01curl -XGET http://ip:port/索引名/_doc/01?pretty --查询documentId为01的一条数据。
elasticsearch的master选举机制
qq_35373760的博客
10-09 4161
ES集群构成 首先，一个Elasticsearch集群(下面简称ES集群)是由许多节点(Node)构成的，Node可以有不同的类型，通过以下配置，可以产生四种不同类型的Node： conf/elasticsearch.yml: node.master: true/false node.data: true/false 四种不同类型的Node是一个node.master和node.data的true/false的两两组合。当然还有其他类型的Node，比如IngestNode(用于数据..
Elasticsearch集群
最新发布
01-26
Elasticsearch是一种开源的分布式搜索和分析引擎，它可以用于快速搜索、分析和存储大量的数据。Elasticsearch集群是由多个节点组成的，每个节点都可以存储和处理数据。以下是关于Elasticsearch集群的一些介绍和演示： 1. 集群原理： Elasticsearch内置了一个名为ZenDiscovery的模块，用于节点发现和选主等功能。这意味着在启动Elasticsearch节点时，它们会自动加入集群，并通过选举机制选择一个主节点来协调集群操作。这使得构建和管理Elasticsearch集群变得非常简单，不需要额外的配置和第三方组件。 2. 单节点演示： 单节点是最简单的Elasticsearch集群配置，它只包含一个节点。以下是一个示例演示如何启动一个单节点的Elasticsearch集群： ```shell # 启动Elasticsearch节点 ./bin/elasticsearch ``` 在启动节点后，您可以使用Elasticsearch的REST API进行索引、搜索和其他操作。 3. 多节点演示： 多节点是更常见的Elasticsearch集群配置，它包含多个节点，可以提供更高的可用性和性能。以下是一个示例演示如何启动一个多节点的Elasticsearch集群： ```shell # 启动第一个节点 ./bin/elasticsearch # 启动其他节点，并指定第一个节点的地址 ./bin/elasticsearch -Ecluster.initial_master_nodes=node1 ``` 在启动所有节点后，它们会自动加入集群，并通过选举机制选择一个主节点来协调集群操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Zhi@Li

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值