elk
很长很长的名字
这个作者很懒,什么都没留下…
展开
-
elasticsearch 模板 时间戳 配置
应用场景:logstash推上了时间戳类型,es无法直接识别解决方法:在模板上配置properties的时候指定字段的类型和格式 "time": { "format": "epoch_second", "type": "date" }配置其他日期格式同理 "@timestamp"原创 2017-04-07 14:42:21 · 17306 阅读 · 0 评论 -
logstah处理filebeat的beat字段--- beat.hostname beat.name beat.version
最近有个需求需要把filebeat推过来的数据进行处理,其中有个beat字段,里面的信息需要进行提取在kibana里面展示会变成 beat.name beat.hostname "beat": { "hostname": "gz", "name": "gz", "version": "5.2.0" }查阅了一些资料之后发现原创 2017-03-29 12:19:30 · 5412 阅读 · 0 评论 -
logstash base64解码字段
需求场景:需要base64解码filebeat上传的某个字段,然后es方便做聚合filter { grok { match => { "message" => "%{DATA:mark}&%{DATA:time}&%{WORD:app}&%{DATA:version}&%{DATA:deviceid}&%{DATA:channel}&%{原创 2017-04-19 09:45:01 · 3518 阅读 · 0 评论 -
PHP慢日志 ELK+FileBeat收集
本文主要讲述的是php慢日志收集至elasticsearch收集流程:本文不提供安装教程主要配置:Filebeat配置filebeat 涉及多行配置所以要使用 multilinepattern:正则表达式negate:true 或 false;默认是false,匹配pattern的行合并到上一行;true,不匹配pattern的行原创 2017-05-02 16:01:06 · 3578 阅读 · 0 评论 -
最简单的系统日志收集方式 elk + rsyslog客户端
收集系统日志是做监控的基础,本文章用rsyslog+elk收集系统日志原理图:ryslog 配置ryslog 是一个快速处理收集系统日志的程序,提供了高性能、安全功能和模块化设计。rsyslog 是syslog 的升级版,它将多种来源输入输出转换结果到目的地vim /etc/rsyslog.conf找到 #*.* @@remote-host:514修改 #*原创 2017-05-03 10:11:57 · 7179 阅读 · 0 评论 -
Elasticsearch API聚合查询-笔记
项目需求:需要过滤后聚合某些没有分词的字段注意:因为项目字段都是string 所以这里都是Terms Aggregation# 基本字段查询 query_string针对的是没有分词的字段,time对应是每秒的时间戳{ "query":{ "query_string":{ "query":"time:[1491987322 TO 1491原创 2017-04-26 12:05:28 · 403 阅读 · 0 评论 -
logstash grok 多项匹配
业务场景:新版本日志需要添加字段,需要兼容新旧日志匹配版本:logstash-2.3filter { grok { match => [ "message" , "%{DATA:hostname}\|%{DATA:tag}\|%{DATA:types}\|%{DATA:uid}\|%{GREEDYDATA:msg}", ...原创 2017-12-05 10:07:39 · 23215 阅读 · 1 评论