ELK日志框架搭建以及基础使用（8.7版本）

1.基础概念

 最基础ELK依靠logstash收集日志信息，由elasticsearch进行存储，kibana进行分析，还可以引用filebeat进行对日志的过滤

2.安装

        2.1 ELK下载

                2.1.1下载elasticsearch，目前我使用版本为8.7（注意：es的版本和logstash，kibana版本需完全一致）

                地址：Past Releases of Elastic Stack Software | Elastic

                2.1.2下载logstash，目前我使用版本为8.7（注意：es的版本和logstash，kibana版本需完全一致）

                地址：Past Releases of Elastic Stack Software | Elastic

                2.1.3下载kibana，目前我使用版本为8.7（注意：es的版本和logstash，kibana版本需完全一致）

                地址：https://www.elastic.co/cn/downloads/past-releases/kibana-8-7-0

3. 搭建以及安装

        3.1安装elasticsearch

                3.1.1解压下载的tar包

drwxr-xr-x 10 es   root      4096 Jun 15 17:52 elasticsearch-8.7.0
-rw-r--r--  1 root root 596104472 Jun 15 17:11 elasticsearch-8.7.0-linux-x86_64.tar.gz
[root@ecs-23051001 elastic_search]# tar -zxvf elasticsearch-8.7.0

                3.1.2 elasticsearch需要非root用户进行启动，因此我们新建一个es用户进行启动es

                我将文件放在data文件夹下的elastic_search下，赋权给es                

[root@ecs-23051001 ~]# useradd es

[root@ecs-23051001 ~]# sudo chown -R es /data/elastic_search/

                3.1.3 在conf文件夹下配置es的配置文件，关闭xpack（若需要密码等验证根据自身需求开启xpack），设置端口，以及host为0.0.0.0，以便外部可以访问

                

                3.1.4 返回bin目录，启动elasticsearch：./elasticsearch -d

-rwxr-xr-x 1 es root     101 Mar 28 00:30 elasticsearch
-rwxr-xr-x 1 es root     376 Mar 28 00:33 elasticsearch-certgen
-rwxr-xr-x 1 es root     376 Mar 28 00:33 elasticsearch-certutil
-rwxr-xr-x 1 es root     674 Mar 28 00:30 elasticsearch-cli
-rwxr-xr-x 1 es root     353 Mar 28 00:33 elasticsearch-create-enrollment-token
-rwxr-xr-x 1 es root     352 Mar 28 00:33 elasticsearch-croneval
-rwxr-xr-x 1 es root    2371 Mar 28 00:30 elasticsearch-env
-rwxr-xr-x 1 es root    2595 Mar 28 00:30 elasticsearch-env-from-file
-rwxr-xr-x 1 es root      84 Mar 28 00:30 elasticsearch-geoip
-rwxr-xr-x 1 es root      87 Mar 28 00:30 elasticsearch-keystore
-rwxr-xr-x 1 es root      55 Mar 28 00:30 elasticsearch-node
-rwxr-xr-x 1 es root     172 Mar 28 00:30 elasticsearch-plugin
-rwxr-xr-x 1 es root     376 Mar 28 00:33 elasticsearch-reconfigure-node
-rwxr-xr-x 1 es root     353 Mar 28 00:33 elasticsearch-reset-password
-rwxr-xr-x 1 es root     353 Mar 28 00:33 elasticsearch-saml-metadata
-rwxr-xr-x 1 es root     353 Mar 28 00:33 elasticsearch-service-tokens
-rwxr-xr-x 1 es root     353 Mar 28 00:33 elasticsearch-setup-passwords
-rwxr-xr-x 1 es root      55 Mar 28 00:30 elasticsearch-shard
-rwxr-xr-x 1 es root     403 Mar 28 00:33 elasticsearch-sql-cli
-rwxr-xr-x 1 es root 3092864 Mar 28 00:33 elasticsearch-sql-cli-8.7.0.jar
-rwxr-xr-x 1 es root     353 Mar 28 00:33 elasticsearch-syskeygen
-rwxr-xr-x 1 es root     353 Mar 28 00:33 elasticsearch-users
[es@ecs-23051001 bin]$ ./elasticsearch -d

                没报错即可~

         3.1.5 在插件中连接查看是否启动成功（这里使用的是Elastic Search Head

        插件下载地址：链接：https://share.weiyun.com/ytve3FZ8 密码：mvei2y）

         3.2 启动Logstash：

                 3.2.1解压tar包后进入config配置文件，这里使用的是sample（展示最基础的配置，如果有深入使用可以进一步查看官方文档进行配置）

 

                 3.2.2 启动logstash

                记得指定配置文件：./logstash -f config/logstash-sample.conf

-rw-r--r-- 1 root wheel    226 Mar 26 11:43 benchmark.bat
-rwxr-xr-x 1 root wheel    152 Mar 26 11:43 benchmark.sh
-rwxr-xr-x 1 root wheel    377 Mar 26 11:43 cpdump
-rwxr-xr-x 1 root wheel   1025 Mar 26 11:43 dependencies-report
-rw-r--r-- 1 root wheel    230 Mar 26 11:43 ingest-convert.bat
-rwxr-xr-x 1 root wheel    155 Mar 26 11:43 ingest-convert.sh
-rwxr-xr-x 1 root wheel   2149 Mar 26 11:43 logstash
-rw-r--r-- 1 root wheel   1202 Mar 26 11:43 logstash.bat
-rwxr-xr-x 1 root wheel    357 Mar 26 11:43 logstash-keystore
-rw-r--r-- 1 root wheel    257 Mar 26 11:43 logstash-keystore.bat
-rwxr-xr-x 1 root wheel   6300 Mar 26 11:43 logstash.lib.sh
-rwxr-xr-x 1 root wheel    358 Mar 26 11:43 logstash-plugin
-rw-r--r-- 1 root wheel    260 Mar 26 11:43 logstash-plugin.bat
-rw------- 1 root root  895296 Jul  6 07:58 nohup.out
-rwxr-xr-x 1 root wheel   1124 Mar 26 11:43 pqcheck
-rw-r--r-- 1 root wheel    480 Mar 26 11:43 pqcheck.bat
-rwxr-xr-x 1 root wheel   1125 Mar 26 11:43 pqrepair
-rw-r--r-- 1 root wheel    481 Mar 26 11:43 pqrepair.bat
-rwxr-xr-x 1 root wheel    623 Mar 26 11:43 ruby
-rw-r--r-- 1 root wheel   3368 Mar 26 11:43 setup.bat
-rwxr-xr-x 1 root wheel   3555 Mar 26 11:43 system-install
[root@ecs-23051001 bin]# nohup ./logstash -f config/logstash-sample.conf &

                3.3 启动kibana

                3.3.1 解压后到config文件下配置，编辑kibana.yml

                根据es安装的地址进行配置

server.port: xxxx
server.host: "0.0.0.0"
elasticsearch.hosts: ['http://xxxx:xxxx']
i18n.locale: "zh-CN"

                3.3.2 到bin目录下启动kibana（记得切换用户，无法以root启动）

                 3.3.3 启动成功后访问地址

                 3.3.4 在kibana中添加视图，查看统计等信息，在discover里新建

        ​​​​​​

 

                3.3.5 配置好之后保存视图

 最后来查看效果：

ps：目前只是使用了最基础的安装方法以及使用，之间还可以加上filebeat，有更深入的使用还请翻阅官方文档~