【EFK日志系统】在kibana操作索引模板、生命周期、管道等

之前已经搭建好了es集群、es-head信息面板、kibana、filebeat和metricbeat，但是其中的索引模板等信息你在kibana界面暂时看不到

接下来我们设置索引模式、索引模板、生命周期、管道限制等，简单写一写样例，（大家可以根据自己的需求自定义，不过system-*这个索引我建议按照执行就行）使这个日志系统更加的完善

参考上几篇
docker一键部署EFK系统（elasticsearch filebeat kibana metricbeat es-head）
【EFK日志系统】docker一键部署kibana、es-head
【EFK日志系统】docker一键部署filebeat、metricbeat
【EFK日志系统】在kibana操作索引模板、生命周期、管道等

---

输入172.23.165.185:5601
输入账号密码登录

管道

在kibana界面找到开发工具，输入指令
这个管道是限制输出host.ip中其他多余的字段，这部分可以自定义，通过过滤、限制达到目的

PUT _ingest/pipeline/retain_first_ip_pipeline
{
  "description": "Retain only the first IP address in host.ip",
  "processors": [
    {
      "script": {
        "lang": "painless",
        "source": """
          if (ctx.host?.ip != null && ctx.host.ip.length > 0) {
            ctx.host.ip = [ctx.host.ip[0]];
          }
        """
      }
    }
  ]
}

生命周期

一般情况下，我们的日志量不大就没必要设置这个；如果日志量比较大，恰巧自己的磁盘容量不能扩充，那么只能设置生命周期回滚，保证日志总量有上限

我们设置是单日索引1GB，超过1G滚动，所有索引保存周期是30天

为了简单示意，我们只设置保存周期为30天

PUT _ilm/policy/system   #名字随便取，在模板对应好就行
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "set_priority": {
            "priority": 100
          }
        }
      },
      "delete": {
        "min_age": "30d",  
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

相应的，起的业务应用生命周期也是这样，这里只不过我们只是对系统日志进行了设置

索引模板

定义索引模板，这样传输的日志信息才能按照你给出的字段显示在kibana

PUT /_index_template/system   # 这个是索引模板的名字
{
  "index_patterns": ["system-*"],      #这个是索引模板的适用范围，凡是以system开头的索引都应用这个模板
  "template": {
    "settings": {
      "index": {
        "number_of_shards": 1,
        "codec": "best_compression",
        "default_pipeline": "retain_first_ip_pipeline",     #这个是刚刚定义的管道（可以去掉哈）
        "lifecycle": {
          "name": "system"      #这个是刚刚定义的生命周期，名字对应好
        }
      }
    },
    "mappings": {
      "properties": {
        "@timestamp": {
          "type": "date"
        },
        "system": {
          "properties": {
            "process": {
              "properties": {
                "memory": {
                  "properties": {
                    "rss": {
                      "properties": {
                        "bytes": {
                          "type": "long"
                        }
                      }
                    }
                  }
                },
                "name": {
                  "type": "keyword"
                },
                "cpu": {
                  "properties": {
                    "total": {
                      "properties": {
                        "pct": {
                          "type": "float"
                        }
                      }
                    }
                  }
                }
              }
            },
            "memory": {
              "properties": {
                "total": {
                  "type": "long"
                },
                "used": {
                  "properties": {
                    "pct": {
                      "type": "float"
                    }
                  }
                }
              }
            },
            "load": {
              "properties": {
                "1": {
                  "type": "float"
                },
                "15": {
                  "type": "float"
                },
                "5": {
                  "type": "float"
                },
                "norm": {
                  "properties": {
                    "1": {
                      "type": "float"
                    },
                    "15": {
                      "type": "float"
                    },
                    "5": {
                      "type": "float"
                    }
                  }
                }
              }
            },
            "cpu": {
              "properties": {
                "total": {
                  "properties": {
                    "pct": {
                      "type": "float"
                    }
                  }
                },
                "cores": {
                  "type": "long"
                }
              }
            },
            "network": {
              "properties": {
                "in": {
                  "properties": {
                    "bytes": {
                      "type": "long"
                    }
                  }
                },
                "out": {
                  "properties": {
                    "bytes": {
                      "type": "long"
                    }
                  }
                }
              }
            }
          }
        },
        "host": {
          "properties": {
            "hostname": {
              "type": "keyword"
            },
            "os": {
              "properties": {
                "family": {
                  "type": "keyword"
                },
                "version": {
                  "type": "keyword"
                },
                "platform": {
                  "type": "keyword"
                }
              }
            },
            "name": {
              "type": "keyword"
            },
            "id": {
              "type": "keyword"
            },
            "architecture": {
              "type": "keyword"
            }
          }
        },
        "metricset": {
          "properties": {
            "period": {
              "type": "long"
            },
            "name": {
              "type": "keyword"
            }
          }
        },
        "event": {
          "properties": {
            "duration": {
              "type": "long"
            },
            "module": {
              "type": "keyword"
            },
            "dataset": {
              "type": "keyword"
            }
          }
        },
        "mongodb": {
          "properties": {
            "replstatus": {
              "properties": {
                "members": {
                  "properties": {
                    "down": {
                      "properties": {
                        "hosts": {
                          "type": "keyword"
                        },
                        "count": {
                          "type": "integer"
                        }
                      }
                    },
                    "recovering": {
                      "properties": {
                        "hosts": {
                          "type": "keyword"
                        }
                      }
                    },
                    "rollback": {
                      "properties": {
                        "hosts": {
                          "type": "keyword"
                        }
                      }
                    },
                    "startup2": {
                      "properties": {
                        "hosts": {
                          "type": "keyword"
                        }
                      }
                    },
                    "unhealthy": {
                      "properties": {
                        "hosts": {
                          "type": "keyword"
                        }
                      }
                    },
                    "unknown": {
                      "properties": {
                        "hosts": {
                          "type": "keyword"
                        }
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }
    },
    "aliases": {}
  }
}

索引模式

1.在kibana界面找到Stack Management

2.在索引模式下创建索引模式

3.在输入框输入system-*
下面应该会出现很多单个索引（表示有符合要求的索引），点击下一步

选择时间戳创建

记得刷新字段

---

至此就完成了
在kibana界面查看日志

有需求的同学可以设置监控面板

注意事项

简单列一下
1.es集群不健康，说明三个节点不通，首先检查防火墙有没有给你开放这几个端口9100 9200 9300 5601等，再就是检查你的证书，是不是同一个证书文件，如果不是，重新在任意一个节点生成，然后复制到其他的节点config

2.生命周期有没有生效，可以在kibana的索引管理界面查看每个索引是否受管
正常的顺序是，我们首先创建了索引模板，然后es能够检索索引，然后在kibana创建索引模式，我们就可以看到日志信息

如果你发现没有受管，请将现在所有的索引删除，如果信息不能删除，那么请将生命周期重新跑一遍

遇到服务有问题docker logs name_id查看

---

纯摸索自用，不周望指正，欢迎交流！！