elasticsearch进行日志信息的采集（按照指定格式）

最新推荐文章于 2024-10-16 05:25:25 发布

ε柠栀

最新推荐文章于 2024-10-16 05:25:25 发布

阅读量8.4k

点赞数

分类专栏： elasticsearch 文章标签：储存信息到指定文件文件模块的使用方法远程采集信息多行采集日志对apache的日志进行采集

本文链接：https://blog.csdn.net/ningyuxuan123/article/details/82054419

版权

本文介绍了如何使用Elasticsearch进行日志信息的采集，包括将信息储存到指定文件，利用文件模块避免重复加载，远程采集，处理多行日志，以及针对Apache日志的特定采集方法。

摘要由CSDN通过智能技术生成

filter表示过滤
终端输入
终端输出stdin
rubydebug 改变输出格式

第一类：储存信息到指定文件

[root@server1 tmp]# cd /etc/logstash/conf.d/
[root@server1 conf.d]# vim message.conf 

input {
        stdin {}
}

output {
        elasticsearch {
                hosts => ["172.25.23.1"]
                index => "logstash-%{+YYYY.MM.dd}"
        }
        file {
                path => "/tmp/demofile
                codec => line { format => "custom format: %{message}"}
        }

}

这里写图片描述
测试：

~ [root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/message.conf 
Settings: Default pipeline workers: 1
Pipeline main started
love
{
       "message" => "love",
      "@version" => "1",
    "@timestamp" => "2018-08-25T03:20:25.772Z",
          "host" => "server1"
}
love
{
       "message" => "love",
      "@version" => "1",
    "@timestamp" => "2018-08-25T03:20:28.239Z",
          "host" => "server1"
}
dead
{
       "message" => "dead",
      "@version" => "1",
    "@timestamp" => "2018-08-25T03:20:30.673Z",
          "host" => "server1"
                                                                                   [root@server1 conf.d]# cd /tmp

在文件里指定的目录查找到相应的信息重点内容

[root@server1 tmp]# ls
demo.file  hsperfdata_elasticsearch  hsperfdata_root  jna--1985354563
[root@server1 tmp]# cat demo.file 
custom format: love
custom format: love
custom format: dead
custom format: dead