logstash教程

已于 2024-08-05 21:55:17 修改
阅读量1k 收藏 16
点赞数 21
分类专栏： linux运维 #ELK 文章标签： linux 运维 elk
于 2024-08-05 21:52:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cumtglad/article/details/140937923
版权

1. 安装

基于rpm方式安装logstash:
	(1)下载软件包
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.17.5-x86_64.rpm

	(2)安装logstash
rpm -ivh logstash-7.17.5-x86_64.rpm

	(3)验证logstash版本
ln -svf /usr/share/logstash/bin/logstash /usr/local/sbin
logstash -V

	(4)基于命令行启动logstash实例
  说明：stdout{}就是stdout { codec => rubydebug }，标准输出
logstash -e "input { stdin { type => stdin } } output { stdout { } }"

	(5)测试logstash
自行输入数据即可。
-------------------------------------------------------------------------
基于二进制方式安装logstash:
	(1)下载软件包
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.17.5-linux-x86_64.tar.gz


	(2)解压软件包
tar xf logstash-7.17.5-linux-x86_64.tar.gz -C /data/tools/logstash/

	(3)验证logstash版本
ln -svf /data/tools/logstash/logstash-7.17.5/bin/logstash /usr/local/sbin/
logstash -V

	(4)基于命令行启动logstash实例
logstash -e "input { stdin { type => stdin } } output { stdout { } }"

	(5)测试logstash
自行输入数据即可。

2. 配置

2.1. input为stdin,output为codec => rubydebug的案例

https://www.elastic.co/guide/en/logstash/7.17/introduction.html
编写第一个logstash配置文件
	(1)编写配置文件
cd /etc/logstash/
[root@elk ~]# cat > conf.d/01-stdin-to-stdout.conf <<EOF
input { 
  stdin { type => stdin } 
} 

output { 
  stdout {  } 
}
EOF
	
	(2)启动logstash实例
[root@elk1 ~]# logstash -f conf.d/01-stdin-to-stdout.conf

2.2. logstash通用字段

所有input 插件 都支持的选项

Setting

Input type

Required

add_field

hash

添加字段

codec

codec

指定对事件采用何种解码方式

enable_metric

boolean

是否启用度量收集，用于监控

id

string

对事件编号，用以区分相同类型的事件

tags

array

对事件添加标签

type

string

设置type字段的值，用于区分事件

所有filter 插件 都支持的选项

Setting

Input type

含义

add_field

hash

添加字段

add_tag

array

添加标签

enable_metric

boolean

是否启用度量收集，用于监控

id

string

对事件编号，用以区分相同类型的事件

periodic_flush

boolean

定期向output插件刷新（发送）事件，而不需要等待Logstash缓冲区满或者事件被明确地推送

remove_field

array

移除字段

remove_tag

array

移除标签

所有output 插件 都支持的选项

Setting

Input type

含义

enable_metric

boolean

是否启用度量收集，用于监控

id

string

对事件编号，用以区分相同类型的事件

2.3. input为filebeat，output为elasticsearch的案例

#前提：filebeat采集的nginx的日志是json格式的
[root@elk1~]# cat > conf.d/02-beats-to-es.conf <<EOF
input { 
  # 指定输入的类型是一个beats
  beats {
    # 指定监听的端口号
    port => 8888
    #用json解码输入事件
    codec => json
  }
} 

output { 
  # 将数据在标准输出显示
  stdout {} 
  
  # 将数据写入ES集群
  elasticsearch {
    # 指定ES主机地址
    hosts => ["http://10.0.0.101:9200"]
    # 指定索引名称
    index => "logstash-nginx-json"
    #连接es的用户名密码
    user => "logstash-user"
    password => "123456"
  }
}
EOF
(2)启动logstash实例
[root@elk1 ~]# logstash -f conf.d/02-beats-to-es.conf
(3)filebeat上配置往logstash发送数据(见filebeat教程2.16章节)

2.4. input插件之kafka

logstash从kafka拉取数据并解析json格式案例
[root@elk101 ~]# cat  > conf.d/08-kafka-to-stdout.conf <<EOF
input {
  kafka {
    # 指定kafka集群地址
    bootstrap_servers => "10.0.0.101:9092,10.0.0.102:9092,10.0.0.103:9092"
    # 指定消费的topic
    topics => ["topic-1"]
    # 指定消费者组
    group_id => "group-2"
    # 指定消费的偏移量,"earliest"表示从头读取数据，"latest"表示从最新的位置读取数据.
    auto_offset_reset => "earliest"
  }
}

filter {
  json {
    # 对指定字段进行json格式解析。
    source => "message"
  }

  mutate {
     remove_field => [ "agent","log","input","host","ecs","tags","@version" ]
  }
}


output { 
  stdout {} 
}
EOF

(2)启动logstash实例
[root@elk1 ~]# logstash -f conf.d/08-kafka-to-stdout.conf

2.5. filter插件之grok,geoip,date处理数据

------------------------------------
grok相关的pattern定义查看方法：
]# ls `find /usr/share/logstash/ -type d -name "legacy"`|sort|xargs -n6|column -t
aws            bacula       bind                  bro      exim    firewalls
grok-patterns  haproxy      httpd                 java     junos   linux-syslog
maven          mcollective  mcollective-patterns  mongodb  nagios  postgresql
rails          redis        ruby                  squid
-------------------------------------
logstash解析filebeat发过来的nginx原生日志并分析IP地址实战
	(1)logstash配置文件编写
[root@elk1 ~]# cat > conf.d/03-beats-grok_geoip-es.conf <<EOF
input { 
  beats {
    port => 8888
  }
} 

filter {
   #从源数据中正则匹配信息形成新字段
   grok {
      match => { "message" => "%{HTTPD_COMBINEDLOG}" }
      remove_field => [ "agent","log","input","host","ecs","tags" ]
   }

  #解析ip增加经纬度信息
  geoip {
     source => "clientip"
  }

  # 用预定义的格式匹配时间字符串,若匹配则并把时间保存到target指定的字段内
  date {      
      # "22/Nov/2015:11:57:34 +0800"
      match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
      # 匹配时区
      timezone => "Asia/Shanghai"
      # 将转后的日期替换为指定字段，若不指定，则默认值为"@timestamp"
      target => "@timestamp"
  }
}

output { 
 #  stdout {}   
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "logstash-nginx"
  }
}
EOF
[root@elk101 ~]# logstash -rf conf.d/03-beats-grok_geoip-es.conf

2.6. filter之grok自定义正则

grok自定义正则模式:
[root@elk1 logstash]# cat diy-patterns/01-pattern 
YEAR [\d]{4}
AUTHOR [A-Z]+
BOOKNUMBER [0-9]{2}

[root@elk1 logstash]# cat > conf.d/04-stdin-grok-diy-pattern-stdout.conf <<EOF
input{stdin { }}
filter{
  grok {
    patterns_dir => ["./diy-patterns"]
    match => {"message"=> "%{YEAR:year} %{AUTHOR:author} %{BOOKNUMBER:booknumber}"}
  }
}
output{ stdout{ }}
EOF
#启动logstash
logstash -rf conf.d/04-stdin-grok-diy-pattern-stdout.conf 
标准输入端输入: 2014 ZMS 11
输出端输出：
{
    "booknumber" => "11",
       "message" => " 2014 ZMS 11",
          "host" => "elk1",
      "@version" => "1",
          "year" => "2014",
    "@timestamp" => 2024-07-28T02:55:55.306Z,
        "author" => "ZMS"
}

2.7. filter之Mutate插件

Mutate 插件主要是对字段进行、类型转换、删除、替换、更新等操作，可以使用以下函数：

插件

用法

解释

convert

convert => { "fieldname" => "integer"}

变更字段的值的类型

copy

copy => { "source_field" => "dest_field" }

拷贝一个字段生成一个新的字段，

如果字段存在则覆盖

gsub

gsub => [ "fieldname", "/", "_" ]

用字符串替换正则匹配到字符串，

仅支持字符串或字符串数组的字段。

无视其他类型数据

join

join => { "fieldname" => "," }

使用分隔符或字符串连接数组。

对非数组字段不执行任何操作。

lowercase

lowercase => [ "fieldname" ]

将字符串转换为其小写

merge

merge => { "dest_field" => "added_field" }

把added_field添加到dest_field形成数组

coerce

coerce => { "field1" => "default_value" }

为已存在但为空的字段设置默认值

rename

rename => { "HOSTORIP" => "client_ip" }

如果目标字段已存在，则替换其值。

如果源字段之一不存在，则不对该字段执行任何操作。

重命名多个字段时，不能保证操作的顺序。

replace

replace => {

"message" => "%{source_host}: new message" }

将字段的值替换为新值，如果该字段不存在，则添加该字段。新值可以包含%{foo}字符串以帮助您从事件的其他部分构建新值。

strip

strip => ["field1", "field2"]

从字段中去除空格。注意：这仅适用于前导和尾随空格。

update

update => { "sample" => "My new message" }

使用新值更新现有字段。如果该字段不存在，则不会采取任何操作。

uppercase

uppercase => [ "fieldname" ]

将字符串转换为其大写等效项。

capitalize

capitalize => [ "fieldname" ]

将字符串转换为其大写等效项。

2.8. logstash的if条件判断(单分支，双分支，多分支)

[root@elk1 logstash]# cat > conf.d/05-if-stdout.conf  <<EOF
input { 
  beats {
    port => 8888
    type => "beats"
    tags => "linux"
  }

  tcp {
    port => 9999
    type => "tcp"
    tags => "linux"
  }

  http {
    type => "http"
    tags => "windows"
  }
} 

filter {
  #单分支判断
  if "linux" in [tags] {
    mutate { add_field => {"custom-type-1" => "1-if-linux"} }
  }
   
  #双分支判断 
  if "linux" in [tags] {  
    mutate { add_field => {"custom-type-2" => "2-if-linux"}  }   
  }else {
    mutate { add_field => {"custom-type-2" => "2-if-windows"} }
  }  
  
  #多分支判断
  if [type] == "beats" {
    mutate { add_field => {"custom-type-3" => "3-if-beats"} }
  } else if [type] == "tcp" {
     mutate { add_field => {"custom-type-3" => "3-if-tcp"} }
  } else {
    mutate { add_field => {"custom-type-3" => "3-if-http"} }
  }
}

output { 
 stdout {} 
}
EOF

#启动logstash
logstash -rf conf.d/05-if-stdout.conf

#测试往tcp 9999端口输入数据
echo 1111 | nc 10.0.0.101 9999
#输出端查看
{
             "port" => 34362,
          "message" => "1111",
    "custom-type-2" => "2-if-linux",
         "@version" => "1",
    "custom-type-1" => "1-if-linux",
             "host" => "elk1",
             "type" => "tcp",
       "@timestamp" => 2024-07-28T05:07:25.842Z,
             "tags" => [
        [0] "linux"
    ],
    "custom-type-3" => "3-if-tcp"
}
#测试往http 8080端口输入数据
echo -e "GET / HTTP/1.0\n" | nc 10.0.0.101 8080
#输出端查看
{
....
"tags" => [
[0] "windows"
],
"type" => "http",
"custom-type-3" => "3-if-http",
"custom-type-2" => "2-if-windows"
...
}

2.9. logstash的pipline案例

logstash的pipline案例
	(1)编写配置文件
[root@elk1 logstash]# cat > conf.d/06-pipeline-beats.conf <<EOF
input { 
  beats {
    port => 8888
    type => "beats"
  }
} 

filter {
   grok {
      match => { "message" => "%{HTTPD_COMBINEDLOG}" }
      remove_field => [ "agent","log","input","host","ecs","tags" ]
   }

   geoip {
      source => "clientip" 
      add_field => {"custom-type" => "beats"}
   }
   
   date {
       match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
       timezone => "Asia/Shanghai"
   }
}

output { 
 # stdout {} 
 
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "pipeline-beats"
  }
}
EOF

[root@elk1 logstash]# cat > conf.d/06-pipeline-http.conf <<EOF
input { 
  http {
    type => "http"
  }
}

filter {
  mutate {
     add_field => { "custom-type" => "http" } 
  }
}

output { 
 # stdout {} 

 elasticsearch {
   hosts => ["http://localhost:9200"]
   index => "pipeline-http"
 }
}
EOF

[root@elk1 logstash]# cat > conf.d/06-pipeline-tcp.conf <<EOF
input { 
  tcp {
    port => 9999
    type => "tcp"
  }
} 


filter {
   grok {
       # 指定加载pattern匹配模式的目录，可以是相对路径，也可以是绝对路径
       patterns_dir => ["./diy-patterns"]
       # 基于指定字段进行匹配       
       match => {"message"=> "%{YEAR:year} %{AUTHOR:author} %{BOOKNUMBER:booknumber}"}
       add_field => {"custom-type" => "tcp"}
  }

}

output { 
 # stdout {} 
 
 elasticsearch {
   hosts => ["http://localhost:9200"]
   index => "pipeline-tcp"
 }
}
EOF

	(2)修改pipline的配置文件
[root@elk1 logstash]# cat > pipelines.yml <<EOF
- pipeline.id: pipeline-beats
  path.config: "/etc/logstash/conf.d/06-pipeline-beats.conf"
- pipeline.id: pipeline-tcp
  path.config: "/etc/logstash/conf.d/06-pipeline-tcp.conf"
- pipeline.id: pipeline-http
  path.config: "/etc/logstash/conf.d/06-pipeline-http.conf"
EOF

	(3)启动logstash实例
logstash --path.settings /etc/logstash

2.10. filter之useragent插件

Useragent 插件可以根据请求中的 user-agent 字段，解析出浏览器设备、操作系统等信息

[root@elk1 logstash]# cat > conf.d/07-beats-filter-useragent-to-stdout.conf <<EOF
input { 
  beats {
    port => 8888
    codec => json 
  }
} 

filter {
   useragent {
     #指定解析数据的源字段
     source => "http_user_agent"
     #把解析的信息放到目标字段中
     target => "useragent"
   } 
}

output { 
  stdout {} 
}
EOF
#启动logstash
logstash -rf conf.d/07-beats-filter-useragent-to-stdout.conf
#查看结果
{
..........
    "http_user_agent" => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.6261.95 Safari/537.36",
          "useragent" => {
        "os_version" => "10",
                "os" => "Windows",
            "device" => "Other",
              "name" => "Chrome",
          "os_major" => "10",
           "version" => "122.0.6261.95",
             "major" => "122",
             "minor" => "0",
             "patch" => "6261",
           "os_name" => "Windows",
           "os_full" => "Windows 10"
    }

linux行者
关注
  • 21
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2023-10-21 架构第五周
weixin_48636572的博客
10-21 137
将nginx 服务器的logstash收集之后的访问日志写入到redis服务器，然后通过另外的logstash将redis服务器的数据取出在写入到elasticsearch服务器。在上一篇文章中我写了安装filebeat、elasticsearch的过程这里不做过多赘述，跳过安装过程的介绍链接：http://t.csdnimg.cn/L1WTM。
logstash-7.17.5-windows-x86_64.zip
07-13
开源的数据收集引擎
Logstash RPM安装
chenzl的专栏
10-17 1525
环境 centos 7.2 JKD 11 Logstash 7.4 国内镜像 https://mirrors.tuna.tsinghua.edu.cn/elasticstack/ 安装 $ cd /var/tmp //# 下载 wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.4.0/logstash-7.4....
logstash rpm安装 以及配置文件修改
weixin_33940102的博客
02-28 2240
2019独角兽企业重金招聘Python工程师标准>>> ...
centos7 rpm 离线安装 logstash
justlpf的专栏
01-09 5457
参考文章： https://www.elastic.co/guide/en/logstash/6.5/installing-logstash.html rpm下载地址：https://www.elastic.co/downloads/logstash logstash实践: 分布式系统的日志监控 windows安装logstash6.2.3 前提 ...
Docker安装 logstash教程
qq_31362933的博客
09-06 476
【代码】Docker安装 logstash教程。
Logstash教程
weixin_34075268的博客
03-14 69
2019独角兽企业重金招聘Python工程师标准>>> ...
Logstash：Logstash 入门教程 （一）
热门推荐
Elastic 中国社区官方博客
05-07 8万+
Logstash是一个功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助你解析，丰富，转换和缓冲来自各种来源的数据。 如果你的数据需要Beats中没有的其他处理，则需要将Logstash添加到部署中。 Logstash是Elastic栈非常重要的一部分，但是它不仅仅为Elasticsearch所使用。它可以介绍广泛的各种数据源。Logstash可以帮利用它自己的Filter帮我们对......
elasticsearch logstash同步数据 视频教程
06-23
ELK elasticsearch logstash 同步数据 视频教程
windows下安装Logstash-7.3.2
zhengzaifeidelushang的博客
09-23 6794
windows下安装Logstash-7.3.2 Logstash 是开源的服务器端数据处理管道， 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构。 Logstash原理 Logstah处理事件有三个阶段：input、filter、output。 1. input 产生事件，常见的input有file、beats。 2. filter 结合条件语...
Logstash原理与代码实例讲解
程序员光剑
06-08 1024
Logstash原理与代码实例讲解 1.背景介绍 在当今数据驱动的世界中,日志数据是一种非常重要的数据源。它包含了系统、应用程序和用户活动的宝贵信息,对于故障排查、安全监控、用户行为分析等场景都具有重要意义。然而,由于日志数据通常是非结构化的、分散的,并且数据量巨大,因此很难对其进行高效的
logstash从文本文件中读取数据存到mysql数据库中
qq_34136709的博客
01-15 1100
logstash从文本文件中读取数据存到mysql数据库中 最近项目中有一个需求：logstash从文本文件中读取数据存到mysql数据库中，花了我快两天的时间，以防忘记故来记录一下： 第一步：logstash安装 首先我们要在服务器上安装logstash，对应的安装包链接如下： https://download.csdn.net/download/qq_34136709/14363673 进行解压缩即可， 第二步：安装logstash-output-jdbc插件 （1）在线安装 进入到logstash的
logstash介绍 - 2.简单安装以及使用
linyonghui1213的专栏
02-08 2966
说明  本文使用的elasticsearch logstash 都是6.1.2版本，基于centos7环境上进行测试验证。   本文测试节点的IP地址为： 192.168.5.60 。   本文不做elasticsearch logstash安装详细说明。   文中最后附下载地址链接。一、简单安装 java环境安装# java -version openjdk version "1.8.0_16...
＜Linux＞ 基础IO
prodigy623的博客
09-06 941
详解Linux基础IO：文件系统调用接口与C库文件函数的关系、重定向、数据缓冲区、文件系统、动静态库
Linux 下 C/C++ 程序编译的过程
最新发布
Teminator_的博客
09-08 5813
本文将介绍如何将 C/C++ 语言编写的程序转换成为处理器能够执行的二进制代码的过程，包括四个步骤：预处理（）编译（）汇编（）链接（在此之前，首先来看一下 GCC 工具链。
【Linux修行路】线程安全和死锁
m0_68662723的博客
09-06 1334
今天的分享到这里就结束啦！如果觉得文章还不错的话，可以三连支持一下，您的支持就是我前进的动力！
logstash安装教程
05-04
core/lib/jars/roaringbitmap-0.7.45.jar:/usr/share/logstash/logstash-core/lib/jars/snakeyaml-1.23.jar:/usr/share/logstash/logstash-core/lib/jars/sockslib-1.1.2.jar:/usr/share/logstash/logstash-core/lib...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值