logstash介绍

logstash介绍

在介绍logstash之前不得不说下ELK，介绍官网如下：

https://www.elastic.co

可能很多人在上面地址找不到logstash，其官网介绍如下：

https://www.elastic.co/cn/logstash

安装这里就不介绍了，自行百度哈，介绍几个常用的命令

1.启动命令：

Run bin/logstash -f logstash.conf

1.控制台输入和控制台输出

cd logstash-7.10.0
bin/logstash -e 'input { stdin { } } output { stdout {} }'

--json格式输出--
bin/logstash -e 'input { stdin { } } output { stdout {codec => json} }'

2.从文件输入，控制台输出

这里我们需要先自己创建一个文件
vi test.conf
文件里面内容如下
input { stdin { } } output { stdout {} }
然后执行下面命令
bin/logstash -f test.conf 

logstash的输入和输出是有好多种不同的途径，具体的可以看下图

3.监控一个文件输入，控制台输出

1.首先我们要创建一个文件
touch logstash.txt
2.再通过pwd的命令得到其路径
3.接着创建一个文件
vi file_stdout.conf
文件里面内容如下：
input{
 file{
  path => ".../logstash.txt"
 }
}
output{
 stdout{
  codec => json
 }
}
4.然后执行下面命令
bin/logstash -f ile_stdout.conf
5.测试得话，首先要往logstash.txt里面写
echo  "hello" >> logstash.txt

4.logstash整合kafka(这里输出到kafka的topic中且要注意kafka和logstash版本要互相兼容)
kafka相关知识可以看我之前的链接：

https://blog.csdn.net/qq_34136709/article/details/108756967

创建一个文件
vi file_kafka.conf
添加下面内容
input{
 file{
  path => ".../logstash.txt"
 }
}
output{
 kafka{
   topic_id => "logstash_topic"(注意只有这个是必须的参数)
   bootstrap_servers => "ip:9092"
   batch_size => 1
 }
}

希望对大家有所帮助，谢谢！