推荐阅读
Helm3(K8S 资源对象管理工具)视频教程:https://edu.csdn.net/course/detail/32506
Helm3(K8S 资源对象管理工具)博客专栏:https://blog.csdn.net/xzk9381/category_10895812.html
本文原文链接:https://blog.csdn.net/xzk9381/article/details/117075217,转载请注明出处。如有发现文章中的任何问题,欢迎评论区留言。
今天在查看 skywalking-oap 服务时,发现日志中出现了大量的报错信息,内容如下:
[967]: index [skywalking-test_segment-20210520], type [_doc], id
[2bac9570f91e4c468c76f853c8c3adc6.142.16214811300613334], message
[ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=Validation Failed:
1: this action would add [5] total shards, but this cluster currently has [2999]/[3000] maximum shards open;]]]
报错的信息中表明用于存储 skywalking 数据的 ES 7 集群由于设置的总分片数量是 3000,当前已经存在 2999 个分片,然而当前新建的索引需要添加 5 个分片,超出了限制,所以索引创建失败。
首先说一下这个当前总分片数量 3000 是怎么来的。ES 7 集群中默认为每个 Node 节点最大 1000 个分片,我当前的集群有三个节点,所以总量为 3000。
解决这个问题的办法就是修改集群分片数量设置的参数:cluster.max_shards_per_node
。可以调用如下 ES 集群接口来进行设置:
curl -X PUT "localhost:9200/_cluster/settings?pretty" -H 'Content-Type: application/json' -d '
{
"persistent" : {
"cluster" : {
"max_shards_per_node" : "5000"
}
}
}'
查看当前的设置是否生效:
$ curl "localhost:9200/_cluster/settings?pretty"
{
"persistent" : {
"cluster" : {
"max_shards_per_node" : "5000"
}
},
"transient" : { }
}
设置完成后再次查看 skywalking-oap 的日志,可以发现数据已经正常写入。
需要注意的是,我们这里是在 persistent
中设置的参数。ES 集群的 setting 配置中包含两种类型:
- persistent:永久生效的配置项
- transient:临时生效的配置项,集群重启就会失效