ELK
一只有理想的猫
java 大数据 数学 机器学习 python
展开
-
ELK学习指南(二)- ELK安装
ELK安装文档前置条件:■ 软件需求 ● yum and rpm (CentOS) ● scp, curl, unzip, tar■ JDK需求:要求使用 Oracle JDK 1.8 64-bit 或以上版本的JDK■ 编辑/etc/hosts文件,添加需要的机器名与ip的映射 ● 这里以机器名datastory4为例■ 配置iptables ● 最简单的方...原创 2018-02-13 14:58:50 · 470 阅读 · 0 评论 -
ELK学习指南(三)- logstash-input
input 模块配置日志的输入1.本地文件输入:input {file { path => /home/1.log}}2.当日志文件跨机器时,可以用filebeat收集,logstash配置如下:input { beats { port => "5044" }}以下为转载别人的例子:原文:http://blog.csdn.net/iguy...原创 2018-02-13 15:16:41 · 301 阅读 · 0 评论 -
ELK学习指南(四)- logstash-filter-grok
正则表达式抽取字段1.内置很多写好的正则,如:NOTSPACE,REEDYDATA,HOSTNAME,ISO8601_TIMEZONE,LOGLEVEL详情可参考:https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns内置表达式使用语法示例:%{LOGLEVEL:lo...原创 2018-02-13 15:40:20 · 610 阅读 · 0 评论 -
ELK学习指南(一)-filebeat
Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到elasticsearch或者logstarsh中存放。以下是filebeat的工作流程:当你开启filebeat程序的时候,它会启动一个或多个探测器(prospectors)去检测你指定的日志目录或文件,对于探测器找...原创 2018-02-13 14:36:33 · 330 阅读 · 0 评论 -
ELK学习指南(五)- logstash-filter-date
date是用来处理时间的插件1.替换@timestamp时间戳:timestamp是从日志抽取出来的时间,后面是匹配timestamp的时间格式 1)时间格式:2018-02-06T12:37:17.513+0800 配置格式: date{ match => ["timestamp","ISO8601","yyyy-MM-dd'T'HH:mm:ss.SSSZZ"] tar...原创 2018-02-13 16:17:23 · 394 阅读 · 0 评论 -
ELK学习指南(六)- logstash-filter-mutate
mutate过滤器允许您在字段上执行常规突变。您可以重命名,删除,替换和修改事件中的字段。1.convert,转换数据类型: 1)转化一个字段: mutate { convert => {"timeout" => "integer"} } 2)转换多个字段: mutate { convert => [...原创 2018-02-13 16:22:05 · 966 阅读 · 0 评论