ELK日志分析系统之logstash

最新推荐文章于 2023-01-04 17:22:49 发布
最新推荐文章于 2023-01-04 17:22:49 发布
阅读量172 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jameszff/article/details/103498222
版权

步骤一：安装logstash
1）配置主机名，ip和yum源，配置/etc/hosts（请把es1-es5、kibana主机配置和logstash一样的/etc/hosts）

[root@logstash ~]# vim /etc/hosts
192.168.1.51 es1
192.168.1.52 es2
192.168.1.53 es3
192.168.1.54 es4
192.168.1.55 es5
192.168.1.56 kibana
192.168.1.57 logstash

2）安装java-1.8.0-openjdk和logstash

[root@logstash ~]#  yum -y install java-1.8.0-openjdk
[root@logstash ~]# yum -y install logstash
[root@logstash ~]# java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)
[root@logstash ~]# touch /etc/logstash/logstash.conf
[root@logstash ~]#  /opt/logstash/bin/logstash  --version
logstash 2.3.4
[root@logstash ~]# /opt/logstash/bin/logstash-plugin  list   //查看插件
...
logstash-input-stdin    //标准输入插件
logstash-output-stdout    //标准输出插件
...
[root@logstash ~]# vim /etc/logstash/logstash.conf
input{
    stdin{
   }
}
filter{
}
output{
    stdout{
   }
}
[root@logstash ~]# /opt/logstash/bin/logstash -f /etc/logstash/logstash.conf 
//启动并测试
Settings: Default pipeline workers: 2
Pipeline main started
aa        //logstash 配置从标准输入读取输入源,然后从标准输出输出到屏幕
2018-09-15T06:19:28.724Z logstash aa

若不会写配置文件可以找帮助，插件文档的位置：点这里

3）codec类插件

[root@logstash ~]# vim /etc/logstash/logstash.conf
input{
    stdin{
    codec => "json"        //输入设置为编码json
   }
}
filter{
}
output{
    stdout{
    codec => "rubydebug"        //输出设置为rubydebug
   }
}
[root@logstash ~]#  /opt/logstash/bin/logstash -f /etc/logstash/logstash.conf 
Settings: Default pipeline workers: 2
Pipeline main started
{"a":1}
{
             "a" => 1,
      "@version" => "1",
    "@timestamp" => "2019-03-12T03:25:58.778Z",
          "host" => "logstash"
}

4）file模块插件

[root@logstash ~]# vim /etc/logstash/logstash.conf
input{
  file {
    path          => [ "/tmp/a.log", "/tmp/b.log" ]
   sincedb_path   => "/var/lib/logstash/sincedb"    //记录读取文件的位置
   start_position => "beginning"                //配置第一次读取文件从什么地方开始
   type           => "testlog"                    //类型名称
  }
}
filter{
}
output{
    stdout{
    codec => "rubydebug"
}
}
[root@logstash ~]# touch /tmp/a.log
[root@logstash ~]# touch /tmp/b.log
[root@logstash ~]#  /opt/logstash/bin/logstash -f  /etc/logstash/logstash.conf 

　另开一个终端：写入数据

[root@logstash ~]#  echo a1 > /tmp/a.log 
[root@logstash ~]#  echo b1 > /var/tmp/b.log

　之前终端查看：

 [root@logstash ~]# /opt/logstash/bin/logstash -f /etc/logstash/logstash.conf 
Settings: Default pipeline workers: 2
Pipeline main started
{
       "message" => "a1",
      "@version" => "1",
    "@timestamp" => "2019-03-12T03:40:24.111Z",
          "path" => "/tmp/a.log",
          "host" => "logstash",
          "type" => "testlog"
}
{
       "message" => "b1",
      "@version" => "1",
    "@timestamp" => "2019-03-12T03:40:49.167Z",
          "path" => "/tmp/b.log",
          "host" => "logstash",
          "type" => "testlog"
}

7）filter grok插件
grok插件：解析各种非结构化的日志数据插件grok使用正则表达式把飞结构化的数据结构化在分组匹配，正则表达式需要根据具体数据结构编写虽然编写困难，但适用性极广.

[root@es5 ~]# yum -y install httpd
[root@es5 ~]# systemctl restart httpd

浏览器访问网页，在/var/log/httpd/access_log有日志出现

[root@es5 ~]# cat /var/log/httpd/access_log
192.168.1.254 - - [12/Mar/2019:11:51:31 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"
[root@logstash ~]#  vim /etc/logstash/logstash.conf
input{
    file {
      path           => [ "/tmp/a.log", "/tmp/b.log" ]
      sincedb_path   => "/var/lib/logstash/sincedb"
      start_position => "beginning"
      type           => "testlog"
   }
}
filter{
    grok{
       match => [ "message",  "(?<key>reg)" ]
    }
}
output{
    stdout{
    codec => "rubydebug"
   }
}

复制/var/log/httpd/access_log的日志到logstash下的/tmp/a.log

[root@logstash ~]# vim /tmp/a.log
192.168.1.254 - - [15/Sep/2018:18:25:46 +0800] "GET / HTTP/1.1" 403 4897 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0"
[root@logstash ~]#  /opt/logstash/bin/logstash -f  /etc/logstash/logstash.conf
//出现message的日志，但是没有解析是什么意思
Settings: Default pipeline workers: 2
Pipeline main started
{
       "message" => ".168.1.254 - - [15/Sep/2018:18:25:46 +0800] \"GET / HTTP/1.1\" 403 4897 \"-\" \"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0\"",
      "@version" => "1",
    "@timestamp" => "2018-09-15T10:26:51.335Z",
          "path" => "/tmp/a.log",
          "host" => "logstash",
          "type" => "testlog",
          "tags" => [
        [0] "_grokparsefailure"
    ]
}

若要解决没有解析的问题，同样的方法把日志复制到/tmp/a.log，logstash.conf配置文件里面修改grok
查找正则宏路径

[root@logstash ~]# cd  /opt/logstash/vendor/bundle/ \ 
jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns/
[root@logstash ~]# vim grok-patterns  //查找COMBINEDAPACHELOG
COMBINEDAPACHELOG %{COMMONAPACHELOG} %{QS:referrer} %{QS:agent}
[root@logstash ~]#  vim /etc/logstash/logstash.conf
...
filter{
   grok{
        match => ["message", "%{COMBINEDAPACHELOG}"]
  }
}
...

解析出的结果

 [root@logstash ~]#  /opt/logstash/bin/logstash -f  /etc/logstash/logstash.conf  
Settings: Default pipeline workers: 2
Pipeline main started
{
        "message" => "192.168.1.254 - - [15/Sep/2018:18:25:46 +0800] \"GET /noindex/css/open-sans.css HTTP/1.1\" 200 5081 \"http://192.168.1.65/\" \"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0\"",
       "@version" => "1",
     "@timestamp" => "2018-09-15T10:55:57.743Z",
           "path" => "/tmp/a.log",
ZZ           "host" => "logstash",
           "type" => "testlog",
       "clientip" => "192.168.1.254",
          "ident" => "-",
           "auth" => "-",
      "timestamp" => "15/Sep/2019:18:25:46 +0800",
           "verb" => "GET",
        "request" => "/noindex/css/open-sans.css",
    "httpversion" => "1.1",
       "response" => "200",
          "bytes" => "5081",
       "referrer" => "\"http://192.168.1.65/\"",
          "agent" => "\"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0\""
}
...

步骤二： 安装Apache服务，用filebeat收集Apache服务器的日志，并存入elasticsearch
1）在之前安装了Apache的主机上面安装filebeat

[root@se5 ~]#  yum -y install filebeat
[root@se5 ~]#  vim/etc/filebeat/filebeat.yml  
paths:
    - /var/log/httpd/access_log   //日志的路径，短横线加空格代表yml格式
document_type: apachelog    //文档类型
elasticsearch:        //加上注释
hosts: ["localhost:9200"]                //加上注释
logstash:                    //去掉注释
hosts: ["192.168.1.57:5044"]     //去掉注释,logstash那台主机的ip
[root@se5 ~]# systemctl start filebeat
[root@logstash ~]#  vim /etc/logstash/logstash.conf
input{
        stdin{ codec => "json" }
        beats{
            port => 5044
}
  file {
    path          => [ "/tmp/a.log", "/tmp/b.log" ]
   sincedb_path   => "/var/lib/logstash/sincedb"
   start_position => "beginning"
   type           => "testlog"
  }
filter{
if [type] == "apachelog"{
   grok{
        match => ["message", "%{COMBINEDAPACHELOG}"]
  }}
}
output{
      stdout{ codec => "rubydebug" }
      if [type] == "filelog"{
      elasticsearch {
          hosts => ["192.168.1.51:9200", "192.168.1.52:9200"]
          index => "filelog"
          flush_size => 2000
          idle_flush_time => 10
      }}
}
 [root@logstash logstash]#  /opt/logstash/bin/logstash  \ 
-f  /etc/logstash/logstash.conf

打开另一终端查看5044是否成功启动

[root@logstash ~]#  netstat -antup | grep 5044
tcp6       0      0 :::5044                 :::*                    LISTEN      23776/java
[root@se5 ~]#  firefox 192.168.1.55   //ip为安装filebeat的那台机器

回到原来的终端，有数据
2）修改logstash.conf文件

[root@logstash logstash]# vim logstash.conf
...
output{
      stdout{ codec => "rubydebug" }
      if [type] == "apachelog"{
      elasticsearch {
          hosts => ["192.168.1.51:9200", "192.168.1.52:9200"]
          index => "apachelog"
          flush_size => 2000
          idle_flush_time => 10
      }}
}

浏览器访问Elasticsearch，有apachelog，如图-20所示：

[student@room9pc01 ~]$ firefox http://192.168.1.55:9200/_plugin/head

在这里插入图片描述

JiaRenRuoChen
关注
ELK日志分析平台之Logstash数据采集
weixin_44992260的博客
08-16 925
目录logstash简介数据采集三要素：输入，过滤和输出一 Logstash安装与配置二 Logstash的输入输出1 命令行方式：标准输入到标准输出2 conf文件方式：标准输入，输出到文件3 conf文件方式：标准输入，输出到ES和标准输出到终端三 Logstash采集日志四 过滤1 多行过滤插件2 grok切片过滤插件apache服务日志过滤 logstash简介 Logstash是一个开源的服务器端数据处理管道。 logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数.
企业运维实战--ELK日志分析平台之logstash数据采集
Rabbit_hyl的博客
08-14 552
企业运维实战--ELK日志分析平台之logstash数据采集前言--logstash简介logstash数据采集安装日志采集输出插件 前言–logstash简介 Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。 logstash数据采集 安装 rpm -ivh jdk-8u171-linux-x64.rpm rpm -ivh logstash-7.6.1.rpm 日志采集输出插件 命令行数据采集并显示
ELk之Logstash
Joseph25的博客
03-29 330
ELK=ElasticSerch+Logstash+kibana Logstash 是一个类似于kafka的开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中，一般都是到ElasticSerch里 原理跟flume一样，直接从官网下载解压就能用 Logstash requires Java 8 Java 9 is not suppo...
ELK学习笔记之Logstash详解
dengxiangbao3167的博客
11-01 803
0x00 Logstash概述 官方介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网...
Elasticsearch学习（七）LogStash学习，手把手教你安装LogStash
一天不写代码难受的博客
02-16 808
目录1 什么是LogStash2 为什么使用Logstash3Logstash工作原理3.1Data Source3.2Logstash Pipeline安装Logstash1安装Logstash2启动容器3修改配置4修改输入输出配置5重启容器6查看日志 1 什么是LogStash ELK(Elasticsearch+Logstash+Kibana)中我们使用过Elasticsearch和Kibana，就剩下最后一个LogStash了。 官方文字说明：Logstash 是开源的服务器端数据处理管道，能够同时
ELK整理（Logstash）使用详解和问题解决
最新发布
Cx的博客
01-04 973
1.Logstash增量同步 2.Logstash同步mysql多数据表时到elasticsearch时数据错乱
ELK部署logstash安装部署及应用（二）
weixin_34148456的博客
08-03 84
Logstash 安装部署注意事项：Logstash基本概念:logstash收集日志基本流程: input-->codec-->filter-->codec-->outputinput:从哪里收集日志。filter:发出去前进行过滤output:输出至Elasticsearch或Redis消息队列codec:输出至前台，方便边实践边测试数据量不大日...
Centos7下搭建ELK日志分析系统
11-02
【Centos7下搭建ELK日志分析系统】 ELK栈是日志管理和分析的强大工具，由Elasticsearch、Logstash、Kibana三个组件组成。Elasticsearch是一个分布式的实时搜索和分析引擎，用于存储、分析和检索大量数据。Logstash...
ELK 之 Logstash
古月的博客
08-09 1万+
ELK 之 Logstash简介:ELK 之 LogstashLogstash 是一个接收,处理,转发日志的工具。支持系统日志,webserver 日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。在一个典型的使用场景下(ELK):用 Elasticsearch 作为后台数据的存储,kibana用来前端的报表展示。Logstash 在其过程中担任搬运工的角色,它为数据存储,报表查询和日志解
Logstash常用配置和日志解析
热门推荐
牧竹子
08-12 8万+
logstash logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。 首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索引，kibana提供前端的页面再进行搜...
Logstash之sincedb问题记录
davinciyxw的专栏
10-17 4044
作为ELK中重要的一个组成部分，logstash既可以作为indexer解析日志，又可以作为shipper采集日志。但是由于logstash是java应用，占用资源较大，启动慢，所以有了filebeat来代替logstash作为日志采集代理。但是filebeat使用golang编写，跨平台支持还不够，比如在AIX环境下不能允许。因此研究了logstash在AIX上的运行，使用jdk1.7的情况下，
日志分析系统ELK之Logstash
Tuki来了
08-25 849
Logstash什么是ELKLogstashKibana 什么是ELK 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的
ELK日志系统：Elasticsearch + Logstash + Kibana 搭建教程
qq_36864672的博客
02-02 6141
环境：OS X 10.10.5 + JDK 1.8 步骤： 一、下载ELK的三大组件 Elasticsearch下载地址： https://www.elastic.co/downloads/elasticsearch （目前最新版本：2.1.1） Logstash下载地址： https://www.elastic.co/downloads/logstash （目前最新版本：
ELK技术栈-Logstash的详细使用
wolfcode_cn的博客
09-29 3214
本文作者：罗海鹏，叩丁狼高级讲师。原创文章，转载请注明出处。  前言 在第九章节中，我们已经安装好Logstash组件了，并且启动实例测试它的数据输入和输出，但是用的是最简单的控制台标准输入和标准输出，那这节我们就来深入的学习Logstash的详细使用。 常用启动参数 我们在上一节中演示了启动Logstash的实例，其中我们启动的时候给Logstash脚本传入了-e的参数，但实际上，Log...
Logstash6.5.4的sincedb文件存放路径
Coding Farmer的博客
01-14 4356
由于测试玩耍，读取日志文件之后就不重新读取，需要每次把sincedb文件删除了，才会重新读取日志文件 低版本的Logstash2.4.0默认的sincedb文件目录在home目录下，通过ll -a就可以查看到 但是：Logstash6.5.4在home目录下没有找到 使用：find / -name .sincedb_* 查看到sincedb文件在 /usr/local/logstash-...
logstash-5.6.3 sincedb 位置
feibabm的博客
10-24 949
按照官网上的说明： https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html#_description_8 y default, the sincedb file is placed in the home directory of the user running Logstash with a f
logstash配置sincedb目录位置
Brave_heart4pzj的博客
02-12 615
https://blog.csdn.net/qq_39669058/article/details/86480578 删除就能重新读取日志文件了，也可以指定指定sincedb文件的目录使用，重要该路径必须指定到文件不能指定到文件的目录 sincedb_path => “/home/logs/index.txt” ...
手把手教你搭建ELK日志分析系统
"快速搭建ELK日志分析系统，包括Elasticsearch、Logstash和Kibana的核心组件，用于日志收集、分析和可视化。Elasticsearch是一个强大的搜索和分析引擎，Logstash处理各种日志源，而Kibana则提供图形化界面。" 在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值