Elastic Stack之 Logstash 6.7.1版本安装

最新推荐文章于 2024-09-18 10:07:01 发布

小段大帅

最新推荐文章于 2024-09-18 10:07:01 发布

阅读量388

点赞数 1

文章标签：大数据 kafka hadoop linux centos

本文链接：https://blog.csdn.net/u011652364/article/details/113705405

版权

本文介绍了如何安装Logstash 6.7.1版本，作为Elastic Stack的一部分，用于数据处理。Logstash是一个强大的数据处理管道，支持从多种数据源如file、Redis、kafka和beats提取数据，通过过滤和转换，再输出到如Elasticsearch、Redis和kafka等目的地。在Linux(CentOS)环境下，将Logstash安装包上传并解压后，配置nginx日志收集，通过调整配置文件解决启动时可能遇到的问题。

摘要由CSDN通过智能技术生成

1、截至目前Elasticsearch 版本已经更新到了7.10.1版本了，这里先使用Logstash 6.7.1版本，给一个下载地址，如下所示：

官方下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch

2、Logstash入门，简介data shipper (不是轻量级的，会比beats占用更多的资源，但是功能强大)。

　　a)、ETL的概念：Extract 对数据进行提取、Transform 转换、Load 对外的输出。

　　b)、Logstash 是一个开源的，服务端的数据处理流，可以同时从多个数据源提取数据、转换数据、最后把数据放到你要存储的地方。

3、Logstash处理流程，如下所示：

　　a)、input：可以从file 、Redis 、beats(filebeats等等beats)、kafka等读取数据。

1 处理流程，Input和Output的配置，由于Logstash不是yaml语法。
2     input{file{path => "/tmp/abc.log"}},案例一
3     output{stdout{codec => rubydebug}}，案例二

　　b)、filter ：支持gork(表达式，简单理解为基于正则的，可以将非格式化数据转化成格式化数据的语法)、mutate(可以对结构化的数据的字段进行增删改查)、drop、date。

1 处理流程，Filter配置。
2     Grok，基于正则表达式提供了丰富可重用的模式(pattern)。基于此可以将非结构化数据做结构化处理。
3     Date，将字符串类型的时间字段转换为时间戳类型，方便后续数据处理。
4     Mutate，进行增加，修改，删除，替换等字段相关的处理。

　　c)、output ：可以向stdout 、elasticsearch 、Redis、kafka等中输出数据。

4、将下载好的logstash(Logstash是Ruby开发的哦)安装包上传到服务器，进行解压缩，然后授权给elsearch用户，如下所示：

 1 [elsearch@k8s-master package]# tar -zxvf logstash-6.7.1.tar.gz -C /usr/local/elastic/
 2 
 3 [root@k8s-master elastic]# ll
 4 total 0
 5 drwxr-xr-x  9 elsearch elsearch 155 Jan  9 23:08 elasticsearch-6.7.1
 6 drwxr-xr-x  6 elsearch elsearch 241 Jan 10 20:05 filebeat-6.7.1-linux-x86_64
 7 drwxr-xr-x 13 elsearch elsearch 263 Jan  9 23:41 kibana-6.7.1-linux-x86_64
 8 drwxr-xr-x 12 root     root     255 Jan 10 20:31 logstash-6.7.1
 9 [root@k8s-master elastic]# chown -R elsearch:elsearch logstash-6.7.1/
10 [root@k8s-master elastic]# ll
11 total 0
12 drwxr-xr-x  9 elsearch elsearch 155 Jan  9 23:08 elasticsearch-6.7.1
13 drwxr-xr-x  6 elsearch elsearch 241 Jan 10 20:05 filebeat-6.7.1-linux-x86_64
14 drwxr-xr-x 13 elsearch elsearch 263 Jan  9 23:41 kibana-6.7.1-linux-x86_64
15 drwxr-xr-x 12 elsearch elsearch 255 Jan 10 20:31 logstash-6.7.1
16 [root@k8s-master elastic]#

此处还是使用logstash来收集nginx日志，如下所示：

 1 [root@k8s-master logstash-6.7.1]# head -n 2 /var/log/nginx/access.log 
 2 192.168.110.1 - - [21/Jul/2019:21:52:34 +0800] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"
 3 192.168.110.1 - - [21/Jul/2019:21:52:34 +0800] "GET /favicon.ico HTTP/1.1" 404 570 "http://192.168.110.133/" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"
 4 [root@k8s-master logstash-6.7.1]# ll
 5 total 848
 6 drwxr-xr-x  2 elsearch elsearch   4096 Jan 10 20:31 bin
 7 drwxr-xr-x  2