大数据-ELK
帅气的程序员
学习使我快乐
展开
-
logStash深入学习拦截器filter(三)
mutate 是对事件中内容做出一些改变 替换 删除 等操作 1. 修改事件中的字符 将我日志中的 回车换行符 替换为空mutate { gsub => [ "message", "\r" ,"" ,"message", "\n", ""] }2.替换 字段值 一个新的字段值 index 值是 type的值 mutate{原创 2018-01-17 17:34:17 · 448 阅读 · 0 评论 -
LogStash的简介与搭建(一)
本次我采用的ELK均为5.6.3版本 ElasticSearch为集群模式 具体搭建及操作请看我之前的博客logstash 官网学习地址:https://www.elastic.co/guide/en/logstash/简介什么是Logstash? Logstash是一个具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据,并将数据规范化到您选择的目的地原创 2018-01-17 16:12:35 · 278 阅读 · 0 评论 -
LogStash 与 ElastaticSearch(二)
插一句嘴,我的毕业设计那个B/S架构的电商网站真的是用处太大了, 先说我的点击流 用了毕业设计嵌入了js埋点,做了hive的数据分析,这次日志录入ElasticSearch我的毕设又充当了应用层产生日志日志存放目录是:/var/logs/e_mall.log 我的日志是daily的 每日产生一个 诸如:e_mall.log.2017-12-12 e_mall.log.201原创 2018-01-17 16:45:05 · 604 阅读 · 0 评论 -
logStash对于多行日志的合并(四)
日志总是免不了出异常 ,或者开发人员打出的日志 是json格式 多行的就需要对 日志多行进行合并 ,这个很常用 ,之后我会再开一个flume合并多行的情况 诸如此类的日志:[ERROR] [] 2017-10-23 09:34:37,855 操作超时,请重新登录com.*****.*******.exception.MobileException: 操作超时,请重新登录 at com.*原创 2018-01-18 10:01:25 · 3640 阅读 · 0 评论 -
logStash拦截器grok的正则表达式(五)
从github上拷贝下来 留着以后查看备用USERNAME [a-zA-Z0-9._-]+USER %{USERNAME}EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+EMAILADDRESS %{EMAILLOCALPART}@%{HOSTNAME}INT (?:[+-]?(?:[0-9]+))BASE10NUM (?<![0-9.+-])(?>[+原创 2018-01-18 17:07:42 · 802 阅读 · 0 评论 -
logStash到ElasticSearch 我的例子(六)
input{ file{ path => "/var/logs/e_mall.log" type => "e_mall-bank" start_position => "beginning" codec => multiline{ pattern => "\s*\[" negate => true原创 2018-01-19 17:40:08 · 406 阅读 · 0 评论