37.索引生命周期管理—kibana 索引配置

37.1 背景

• 引入索引生命周期管理的一个最重要的目的就是对大量时序数据在es读写操作的性能优化
  • 如通过spark streaming读取Kafka中的日志实时写入es，这些日志高峰期每天10亿+，每分钟接近100w，希望es能够对单分片超过50g或者30天前的索引进行归档，并能够自动删除90天前的索引
  • 这个场景可以通过ILM进行策略配置来实现

37.2 介绍

• ES索引生命周期管理分为4个阶段：hot、warm、cold、delete
  • 其中hot主要负责对索引进行rollover操作
  • warm、cold、delete分别对rollover后的数据进一步处理（前提是配置了hot）
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-p4B2O3XF-1655369268458)(https://upload-images.jianshu.io/upload_images/19745945-79fde35d3a273e5d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

37.3 kibana 索引配置

• 配置索引生命周期
  • 点击Manage ->Index Lifecycle Policies 可以配置策略管理索引生命周期
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a5npnC0G-1655369268465)(https://upload-images.jianshu.io/upload_images/19745945-6ecbf71aa149e1aa.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
• 首先创建 Index Lifecycle Policies 也就官方文档中的四个阶段配置
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g1fgPP0G-1655369268468)(https://upload-images.jianshu.io/upload_images/19745945-d8135d2162a12ca1.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TGjx9Dls-1655369268469)(https://upload-images.jianshu.io/upload_images/19745945-603e121e1b3a73fc.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7WJ6pgnG-1655369268471)(https://upload-images.jianshu.io/upload_images/19745945-19bd1b36a2904e3b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
• 配置好生命周期策略后，我们需要创建一个模板，将我们现在的输入 index 接管过来，然后将策略应用于这个模板，这就达到了，每次创建的 index 都能应用于这一策略
• 其实最方便的就是将你创建的索引都以 logstash-* 开头，默认就包含一个名为logstash 的模板

大数据视频推荐：
CSDN
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通