通过logstash导入日志分析-ELK

因为要对日志进行日常分析,排查一些线上问题,日志文件又特别大,采用这种配置方式导入,再进行可视化相当 方便

下面贴出导入日志的配置,只是简单的导入,对于mapping类型的定义,还有过滤的条件插件都 没有安装,后续会安装一些常用插件,让数据导入更有含义些,还有包括经纬度,IP地址,时间格式,等都 可以自己去定义

  代码如下 , 日志输出格式自己修改下

input {
  file { 
    path => [ "/opt/tms.log" ] 
    start_position => "beginning"   #从文件开始处读写
    ignore_older => 0 
  }
}

###过滤 
filter{
#定义数据的格式
 grok {
        match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
 }

# grok {
# match => [ "message", "smsmonitor" ]
# add_tag => [smsmonitor]
# }
# ....
}

###output to es
output {
  elasticsearch {
  hosts => ["192.168.11.237:9200"]
  index => "loginput_index"     #索引名称
  #template_name => "mprobelog"
  #document_id => "%{id}"
  }
  stdout { codec => json_lines }
}

 

./bin/logstash -f ../my_file/loginput.conf  启动导入数据日志,

可视化的界面也很方便,简单的导入确实不利于排查问题,并且格式也不是自己想要的,只是实现了数据导入到ES里,

后续还要加更多分析内容,慢慢深入研究是很有必要

安装logstash配置文件里的插件

bin/logstash-plugin install logstash-filter-grok
bin/logstash-plugin install logstash-filter-geoip
bin/logstash-plugin install logstash-filter-mutate
bin/logstash-plugin install logstash-filter-date

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值