filebeat + logstash + influxdb

最新推荐文章于 2024-08-02 17:57:28 发布

nickname_oo

最新推荐文章于 2024-08-02 17:57:28 发布

阅读量1.8k

点赞数

分类专栏：文件同步时序数据库文章标签： filebeat logstash influxdb

本文链接：https://blog.csdn.net/helihongzhizhuo/article/details/85003706

版权

文件同步同时被 2 个专栏收录

1 篇文章 0 订阅

订阅专栏

时序数据库

1 篇文章 0 订阅

订阅专栏

Filebeat是一个开源的文件收集器，主要用于获取日志文件，并把它们发送到logstash或elasticsearch。

Filebeat安装

filebeat的安装步骤见： https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-getting-started.html

概要如下：

yum install filebeat
查看配置文件路径 whereis filebeat

Filebeat的配置文件是./filebeat/filebeat.yml，遵循YAML语法。

修改配置filebeat.yml：

filebeat.inputs:

- type: log

enabled: true

paths: （扫描输入路径可以配置多个）

- /var/log/b.log

- /var/log/c.log

output.logstash:

# The Logstash hosts

hosts: ["127.0.0.1:5044”]

启动

cd /usr/share/filebeat/bin/

./filebeat -e -c filebeat.yml

Logstash安装

logstash详细说明，请参见官网： https://www.elastic.co/guide/en/logstash/current/index.html

1、配置yum安装logstash

vi /etc/yum.repos.d/logstash.repo

[logstash-6.x]

name=Elastic repository for 6.x packages

baseurl=https://artifacts.elastic.co/packages/6.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

yum install logstash

2、查看配置文件程序路径

whereis logstash

3、Logstash配置文件内容

input {

beats {

port => "5044"

}

filter {

grok {

match => ["message", '%{DATA:time} %{DATA:duration} %{DATA:timestamp}']

}

output {

influxdb {

db => "mydb"

host => "localhost"

port => "8086"

user => "*****"

password => "******"

measurement => "mytable"

allow_time_override => true

retention_policy => default

data_points => {

"time" => "%{time}"

"duration" => "%{duration}"

"timestamp"=>"%{timestamp}"

# stdout { codec => rubydebug }

}

4、logstash filter

Logstash提供了一系列filter过滤plugin来处理收集到的log event，根据log event的特征去切分所需要的字段，方便kibana做visualize和dashboard的data analysis。所有logstash支持的event切分插件查看 https://www.elastic.co/guide/en/logstash/current/filter-plugins.html，

grok详情见：https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html

如：

%{SYNTAX:SEMANTIC}
* `SYNTAX`代表匹配值的类型，例如，`0.11`可以`NUMBER`类型所匹配，`10.222.22.25`可以使用`IP`匹配。
* `SEMANTIC`表示存储该值的一个变量声明，它会存储在`elasticsearch`当中方便`kibana`做字段搜索和统计，你可以将一个`IP`定义为客户端IP地址`client_ip_address`，eg:`%{IP:client_ip_address}`，所匹配到的值就会存储到`client_ip_address`这个字段里边，类似数据库的列名，也可以把event log中的数字当成数字类型存储在一个指定的变量当中，比如响应时间`http_response_time`，假设event log record如下:

55.3.244.1 GET /index.html 15824 0.043
%{IP:client_id_address} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:http_response_time}

在logstash的配置文件中配置如下：

filter { grok { match => { "message" => "%{IP:client_id_address} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:http_response_time}" } } }

其中，grok内置的默认类型有很多种，查看所有默认类型，详情见https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns。

推荐使用grokdebugger http://grokdebug.herokuapp.com/来写匹配模式，输入event log record，再逐步使用pattern微调切分，下方会根据你所写的模式将输入切分字段。