Elasticsearch 生产应用(实用版),知晓这些,你就可以进行简单的ES集群运维了

elasticsearch集群的部署,详情请看上一篇文章:

Elasticsearch最新版快速入门看这个就可以了-CSDN博客

1、索引副本数的修改

进到kibana的开发工具栏

  • number_of_shards
    每个索引的主分片数,默认值是 5 。这个配置在索引创建后不能修改。
  • number_of_replicas
    每个主分片的副本数,默认值是 1 。对于活动的索引库,这个配置可以随时修改。

默认的索引主分片个数为5个。对于数据规模较小、索引个数较多的场景,建议调小主分片个数,以减轻索引元数据对堆内存的压力。

PUT /test-2024.02.01/_settings

{"number_of_replicas": 0}

上面的操作只能修改已创建的索引的副本情况,但是之后创建的索引依然是1主分片1副本

2、修改ES集群的默认模板

因此需要直接修改ES集群的默认模板,使得之后创建的分片副本符合预期

PUT /_template/log

{

   "template": "*",

    "settings": {

        "number_of_shards": 1,

        "number_of_replicas": 0

      }

}

可以看到新创建的nginx索引的分片副本符合预期的设置

3、设置索引模板

修改索引模板,使得一些字段可以作为条件进行过滤

PUT _template/default@template

{

  "index_patterns" : ["*"],  模板应用的索引,这里*,匹配所有

    "order" : 2,    //模板优先级,数值越大优先级越高

    "mappings": {

      "properties": {

        "@timestamp": {

          "type":  "date"

        },

        "remote_addr": {

          "type":  "keyword"

        },

        "remote_user": {

          "type":  "keyword"

        },

        "body_bytes_sent": {

          "type":  "keyword"

        },

        "request_time": {

          "type":  "date"

        },

        "status": {

          "type":  "keyword"

        },

        "request": {

          "type":  "keyword"

        },

        "request_method": {

          "type":  "keyword"

        },

        "http_referrer": {

          "type":  "keyword"

        },

        "http_x_forwarded_for": {

          "type":  "keyword"

        },

        "http_user_agent": {

          "type":  "keyword"

        }

      }

    }

  }

可以使用get命令进行查看

然后进行验证:

还需要在这里进行刷新字段列表

然后就可以在索引中进行过滤筛选,条件查询

4、查看ES集群的恢复状态

yellow状态或者green状态,恢复完全

GET /_cluster/health?pretty

5、直接修改某索引的模板

在高版本的kibana中,可以直接在索引管理中进行修改某一日志的索引模板

在开发工具中进行手动滚动启用

6、设定kibana定时清理索引

      先创建索引的生命周期策略

记得关掉热阶段的滚动更新,滚动更新更适合单个索引不断扩容的场景

开启删除阶段,设置过期时间,快照可以不用

手动给索引添加删除策略

如果过期时间比较短,会显示当前阶段是delete,如果过期时间比较长,则会出现hot阶段,到了delete阶段,过几分钟就会被删除。

实际项目中,日志索引是自动生成的,需要进行自动添加删除策略(高版本)

默认情况下是没有ILM策略的,我们给它设置刚刚创建的策略,这样通过logstash传输创建的索引就会附带ILM策略;

当然也可以直接将删除策略直接绑定索引模板,这样使用某索引模板的时候,就会自动绑定回收策略

新创建的索引就绑定删除策略了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值