elasticsearch
felix_yujing
Better in Time
展开
-
定期删除elasticsearch集群10天以上的索引
背景 需要定期清理的索引的后缀日期格式为YYYY.MM.DD,如:project-index-2017.10.01思路 通过_cat/indices接口可以获取当前ES全部索引信息,取第三列为索引名。过滤出索引名中带有的日期字符串,然后进行日期比较,早于10天前的日期便可通过日期模糊匹配索引来删除。完整的脚本如下:#!/bin/bash##############################原创 2017-10-11 19:58:10 · 11197 阅读 · 5 评论 -
logstash的output配置中指定elasticsearch的template
之前采用的是通过filebeat收集nginx的日志,直接到elasticsearch。filebeat带有nginx的module模块,通过这个nginx模块实现filebeat对nginx日志中字段的处理。最近由于一些实际的使用场景和需求,对nginx日志的手机和处理方式做了一下调整: filebeat收集nginx原始日志信息到kafka,然后logstash再从kafka读取日志,并进行原创 2017-12-29 13:05:07 · 13717 阅读 · 0 评论