ELK
AbnerSunYH
这个作者很懒,什么都没留下…
展开
-
ELK 在 Spark 集群的应用
概述大数据处理技术越来越火,云计算平台也如火如荼,二者犹如 IT 列车的两个车轮,相辅相成,高速发展。如果我们将大数据处理平台比作一个可能会得病的人的话,那么日志分析系统就是给病人诊断的医生。由于集群甚大,几百台机器都是起步价,甚至可能会有上千台、上万台机器同时协作运行。如此大的集群,不可能一点问题都不出,就像一个人不可能不得病一样。如果出现问题,如何快速的找到问题的根源并对症下药,则显得转载 2017-01-17 09:53:32 · 961 阅读 · 0 评论 -
ES 集群清除索引 shell 脚本
es 集群清除索引脚本,每个索引格式 "*-YYYY-mm-dd",输入截止Unix时间戳。首先通过 indies 接口获取所有索引,然后遍历判断时间是否小于输入的 Unix 时间戳,是则执行删除索引。#!/bin/baship='192.168.1.1'port=9200endUnixTime=$1indices=`curl -XGET "http://${ip原创 2017-02-28 17:45:20 · 2557 阅读 · 0 评论 -
Elastic Stack X-Pack 插件 更新 Updating Your License
更新license,Updating Your License 官方文档https://www.elastic.co/guide/en/x-pack/current/installing-license.html注册用户获取基础license,有效期1年https://register.elastic.co/xpack_register原创 2016-12-02 16:36:42 · 6848 阅读 · 0 评论 -
filebeat - logstash 多行合并 解决数据丢失以及无法读取最后一行
filebeat - logstash 多行合并 解决数据丢失以及无法读取最后一行,使用logstash-filter-multiline 最后一行日志会等待1s时间,如果日志没有新的数据,则发送最后一行日志数据原创 2016-11-15 22:04:57 · 11891 阅读 · 2 评论 -
ELK 接入日志数据配置参考
一、简介 现有 ELK 平台由 Filebeat, Logstash, ElasticSearch, Kibana 构成,主要提供应用日志数据的采集、转发、存储、查询、告警等功能。该文适合已经搭建好 ELK 平台的读者,搭建 ELK 或具体启动配置请查看其它文档。接入日志数据大致需要配置其中三个组件 Filebeat, Logstash, Kibana,如果只是简单采集及查看日志原创 2017-06-13 16:21:33 · 6103 阅读 · 0 评论