elk
文章平均质量分 62
2018_like菜
这个作者很懒,什么都没留下…
展开
-
elk生命周期删除日志
ELK日志我们一般都是按天存储,例如索引名为"kafkalog-2022-04-05",因为日志量所占的存储是非常大的,我们不能一直保存,而是要定期清理旧的,这里就以保留7天日志为例。自动清理7天以前的日志可以用定时任务的方式,这样就需要加入多一个定时任务,可能不同服务记录的索引名又不一样,这样用定时任务配还是没那么方便。ES给我们提供了一个索引的生命周期策略(lifecycle),就可以对索引指定删除时间,能很好解决这个问题。原创 2023-05-08 12:30:12 · 1525 阅读 · 0 评论 -
手动批量删除es索引,时间范围内
由于使用时间戳方式不合适这次删除,只能从开发那儿生成的索引名字进行删除,还好生成的索引比较有规律,本次要删除的索引格式access_logger_+不同的日期。本脚本不之处,遇到不存在的索引会报错404后继续执行shell,没有跳过404的错误提示,只保留执行成功的信息。dev-jaeger-span-$del_date 索引名。本脚本直接在生产上使用了,还没有经过优化,但是可以使用。es版本 7.10.0。原创 2023-04-14 18:01:52 · 721 阅读 · 0 评论 -
loki收集docker容器里运行服务的日志,loki+grafana
普通收集loki+grafana+promtailloki进行日志聚合处理 类似elk中的espromtail是日志收集,类似elk中的logstash filebeat等,如果是只收集docker容器的日志则可以用loki的docker plugin替代grafana是日志显示,类似elk中的kibana,可以通过各种标签和表达式过滤显示日志version: "3"services: loki: image: grafana/loki container_name.原创 2020-12-30 16:12:06 · 7191 阅读 · 1 评论 -
elasticsearch空间爆满报错信息
问题描述:在向elasticsearch中插入字段时出现blocked by: [FORBIDDEN/12/index read-only / allow delete (api)]的错误解决办法:curl -XPUT -H "Content-Type: application/json" http://127.0.0.1:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'-all可以改为自己的索引名称,也原创 2020-12-17 19:05:40 · 474 阅读 · 0 评论 -
centos7 Graylog3部署
日志管理系统,大家普遍知道的都是ELK的解决方案,但是ELK要实现认证和一些状态监控,需要安装x-pack插件包,但是x-pack是要收费的,当然可以选择破解,但是比较麻烦。而且ELK是一个解决方案,在其中包含很多软件,不单elasticsearch,kibana,logstash,还需要redis或kafaka,收集日志还需要不同的beats,整个结构非常复杂,且占用较多资源,要想完全搞懂需要较长时间。 但是很多时候,公司系统并不大,使用ELK的成本太高,可以使用一些替代方案,除了ELK还有很...转载 2020-12-13 10:00:39 · 447 阅读 · 0 评论 -
docker-compose安装elk6.8.8
- TAKE_FILE_OWNERSHIP=true #允许挂载,不然es容器启动不了version: '3'services: elasticsearch: image: elasticsearch:6.8.8 container_name: elasticsearch6 environment: - "cluster.name=elasticsearch" #设置集群名称为elasticsearch - "discovery.typ...原创 2020-07-07 14:22:08 · 907 阅读 · 0 评论 -
安装filebeat7.70
安装下载地址https://elasticsearch.cn/download/rpm --install filebeat-7.7.0-x86_64.rpmvim /etc/filebeat/filebeat.yml启动、停止、查询状态systemctl start filebeat.servicesystemctl stop filebeat.servicesystemctl status filebeat.servicekibana中查询filebeat采集到的数据原创 2020-07-06 17:11:50 · 652 阅读 · 0 评论 -
docker-compose安装es7.7.0+kibana7.7.0亲测
亲测centos7.6准备安装好docker安装好docker-compose安装JDK(版本号尽量高点,至少jdk9)###也可用elk自带的准备esAndKibana.yml文件version: '3'services: elasticsearch: image: elasticsearch:7.7.0 container_name: elasticsearch environment: - "cluster.name=elasticse转载 2020-07-06 16:23:48 · 3424 阅读 · 0 评论