logstash的安装与使用

一、简介

logstash是一种开源数据处理管道，常用于将数据导入到elasticsearch数据库中
logstash语法结构：
input：{} //输入，必须有
filter：{} //过滤，可以有，可以没有
output:{} //输出，必须有
运行logstash的两种方法：
1）字符串
bin/logstash -e ‘input{stdin{}}output{stdout{codec=>rubydebug}}’
2）文件
bin/logstash -f 文件目录

二、安装

1.解压文件夹

tar -zxf logstash-6.2.2.tar.gz 

2.移动并改名

mv logstash-6.2.2 soft/logstash622

三、多格式logstash导入数据

1. 控制台直接输入字符串

（1）输入输出普通字符串

（2）输入输出json格式字符串

2.读取配置文件，并将其按一定格式输入到数据库
语句：./logstash -f /opt/soft/logstash622/conf/logstash.conf（文件路径）
首先，创建一个logstash1.conf文件

（1）读取的文件为普通字符串格式
文件内容

logstash配置

运行logstash后控制台导入数据

（2）读取的文件为json格式
需在输入中加 codec => json

（3）读取的文件为json嵌套格式
输入的嵌套json文件：

logstash解析文件

运行logstash后控制台导入数据

3.双文件流处理
测试数据
userlog.txt

sys.log

logstash1.conf文件配置

运行logstash处理数据