认识logstash

Getting Started with Logstash 官方文档
logstash版本6.x

安装

Logstash需要jdk8,但是不是支持jdk9.
logstash有多种方式安装，下面介绍yum方式安装.

yum

1. 下载并安装公共签名密钥
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

2. 新建repo文件
在/etc/yum.repos.d/目录下，新建一个.repo文件,内容为：

[logstash-6.x]
name=Elastic repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

3.yum安装
sudo yum install logstash

---

启动验证

logstash有两个必须的组件和一个可选组件：

• inputs : 数据输入端
• filters(可选): 数据转换、过滤、字段添加删除等…
• outputs: 数据输出

plugins

input-plugins

• file:
• beats: 后续会专门讲解。
• http:
• jdbc:
• kafka:
• stdin:

filter-plugins

• grok: 通过正则解析非结构化数据。plugins-filters-grok.
• mutate: 可以重命名、删除、替换和修改事件字段。
• drop:
• clone:
• geoip: 添加地理相关信息

output-plugins

• file:
• elasticsearch:
• sdout:
• redis:
• csv:

简单demo测试

安装成功之后可以使用：
whereis logstash查找logstash安装目录，

然后输入测试命令：
bin/logstash -e 'input { stdin { } } output { stdout {} }'

-e 表示直接从命令行获取指定配置
stdin :标准输入流
stdout : 标准输出流

随意输入hello world,会输出：

使用CTRL-D命令退出。

file_2_file 例

• inputs: 两个文件，一个标准输入流
• outputs: 一个文件，一个标准输出流

file_2_file.conf

input {
        stdin{}

        file{
                path => ["/home/logstash/a_input_msg","/home/logstash/b_input_msg"]
                type => "file_2_file_test"
                start_position  => "beginning"
        }

}

output  {
        stdout{
                codec => rubydebug
        }

        file {
                path => "/home/logstash/output.gz"
                ## 开启gzip,
                gzip => true
        }

}

启动
使用命令：logstash -f ./file_2_file.conf启动，控制台输出结果：

使用gzip -d xx.gz 解压后查看内容解压后查看内容: