Filebeat和Nxlog采集IIS日志到Logstash

最新推荐文章于 2023-09-22 12:01:01 发布

唯有智者千虑

最新推荐文章于 2023-09-22 12:01:01 发布

阅读量740

点赞数

文章标签： elasticsearch 大数据 windows

本文链接：https://blog.csdn.net/weixin_42970769/article/details/131048381

版权

文章介绍了如何使用Filebeat和Nxlog将微软IIS日志发送到Logstash。对于Filebeat，需要配置输入源为IIS日志路径，输出目标为Logstash的主机和端口。Logstash端则配置input和filter插件解析日志。而对于Nxlog，配置文件定义了从IIS日志文件读取并经由TCP发送到Logstash的设置。

摘要由CSDN通过智能技术生成

Filebeat采集IIS日志

要将微软IIS日志发送到Logstash中，可以按照以下步骤操作：
安装Filebeat：Filebeat是一个轻量级的日志数据收集器，可以将文件数据发送到Logstash或Elasticsearch等目标。因此，我们需要安装和配置Filebeat来收集IIS日志。
配置Filebeat：在Filebeat的配置文件中，我们需要指定要收集的IIS日志文件的位置和格式，并将日志数据发送到Logstash的主机和端口。以下是一个Filebeat的配置文件示例：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - "C:/inetpub/logs/LogFiles/W3SVC*/u_ex*.log"
  fields:
    log_type: iis_log

output.logstash:
  hosts: ["logstash_host:5044"]

在上述示例中，我们指定了IIS日志文件的路径，以及将日志数据发送到Logstash的主机和端口。
配置Logstash：在Logstash中，我们需要配置一个input插件来接收Filebeat发送的数据，并通过filter插件来解析和处理IIS日志。以下是一个Logstash的配置文件示例：

input {
  beats {
    port => 5044
  }
}

filter {
  if [fields][log_type] == "iis_log" {
    grok {
      match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{IPORHOST:server_ip} %{WORD:method} %{URIPATH:url_path} %{NOTSPACE:query_string} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:client_ip} %{NOTSPACE:user_agent} %{NUMBER:response_code} %{NUMBER:sub_status} %{NUMBER:win32_status} %{NUMBER:time_taken}" }
    }
    date {
      match => [ "timestamp", "yyyy-MM-dd HH:mm:ss" ]
    }
  }
}

output {
  elasticsearch {
    hosts => ["elasticsearch_host:9200"]
    index => "iis_logs-%{+YYYY.MM.dd}"
  }
}

在上述示例中，我们使用beats插件来接收Filebeat发送的数据，并使用grok插件来解析IIS日志格式。我们还使用date插件将时间戳转换为日期格式，并将解析后的数据发送到Elasticsearch中。

Nxlog采集IIS日志

要将IIS日志发送到Logstash，可以使用Nxlog来完成。Nxlog是一个开源的日志收集器，它可以在Windows和Linux操作系统上运行，并且支持多种输入和输出格式，包括IIS日志和Logstash。

以下是Nxlog将IIS日志发送到Logstash的步骤：

在Windows服务器上安装Nxlog。从Nxlog的官方网站下载适用于Windows的安装程序，并按照安装向导进行安装。

配置Nxlog收集IIS日志。创建一个名为“nxlog.conf”的配置文件，并将其保存在Nxlog的安装目录下。以下是一个简单的示例配置文件：

<Input iis>
    Module      im_file
    File        "C:\inetpub\logs\LogFiles\W3SVC1\u_ex*.log"
    SavePos     TRUE
    ReadFromLast TRUE
</Input>

<Output logstash>
    Module  om_tcp
    Host    logstash.example.com
    Port    5000
</Output>

<Route iis_to_logstash>
    Path    iis => logstash
</Route>

此配置文件使用“im_file”模块从IIS日志文件中读取日志。然后，使用“om_tcp”模块将日志发送到Logstash的主机和端口。

启动Nxlog服务。在Windows服务管理器中启动Nxlog服务。如果服务成功启动，则Nxlog将开始收集IIS日志并将其发送到Logstash。

配置Logstash接收Nxlog发送的IIS日志。在Logstash的配置文件中添加一个TCP输入插件，以便接收Nxlog发送的IIS日志。以下是一个简单的示例配置文件：

input {
  tcp {
    port => 5000
    codec => json
  }
}

output {
  stdout { codec => rubydebug }
}

此配置文件使用TCP输入插件从端口5000接收JSON格式的日志并将其输出到控制台。

启动Logstash服务。在命令行中运行“logstash -f logstash.conf”命令，启动Logstash服务并加载配置文件。
如果一切设置正确，Nxlog将开始将IIS日志发送到Logstash，并且Logstash将接收和处理这些日志。