1.基础概念
最基础ELK依靠logstash收集日志信息,由elasticsearch进行存储,kibana进行分析,还可以引用filebeat进行对日志的过滤
2.安装
2.1 ELK下载
2.1.1下载elasticsearch,目前我使用版本为8.7(注意:es的版本和logstash,kibana版本需完全一致)
地址:Past Releases of Elastic Stack Software | Elastic
2.1.2下载logstash,目前我使用版本为8.7(注意:es的版本和logstash,kibana版本需完全一致)
地址:Past Releases of Elastic Stack Software | Elastic
2.1.3下载kibana,目前我使用版本为8.7(注意:es的版本和logstash,kibana版本需完全一致)
地址:https://www.elastic.co/cn/downloads/past-releases/kibana-8-7-0
3. 搭建以及安装
3.1安装elasticsearch
3.1.1解压下载的tar包
drwxr-xr-x 10 es root 4096 Jun 15 17:52 elasticsearch-8.7.0
-rw-r--r-- 1 root root 596104472 Jun 15 17:11 elasticsearch-8.7.0-linux-x86_64.tar.gz
[root@ecs-23051001 elastic_search]# tar -zxvf elasticsearch-8.7.0
3.1.2 elasticsearch需要非root用户进行启动,因此我们新建一个es用户进行启动es
我将文件放在data文件夹下的elastic_search下,赋权给es
[root@ecs-23051001 ~]# useradd es
[root@ecs-23051001 ~]# sudo chown -R es /data/elastic_search/
3.1.3 在conf文件夹下配置es的配置文件,关闭xpack(若需要密码等验证根据自身需求开启xpack),设置端口,以及host为0.0.0.0,以便外部可以访问
3.1.4 返回bin目录,启动elasticsearch:./elasticsearch -d
-rwxr-xr-x 1 es root 101 Mar 28 00:30 elasticsearch
-rwxr-xr-x 1 es root 376 Mar 28 00:33 elasticsearch-certgen
-rwxr-xr-x 1 es root 376 Mar 28 00:33 elasticsearch-certutil
-rwxr-xr-x 1 es root 674 Mar 28 00:30 elasticsearch-cli
-rwxr-xr-x 1 es root 353 Mar 28 00:33 elasticsearch-create-enrollment-token
-rwxr-xr-x 1 es root 352 Mar 28 00:33 elasticsearch-croneval
-rwxr-xr-x 1 es root 2371 Mar 28 00:30 elasticsearch-env
-rwxr-xr-x 1 es root 2595 Mar 28 00:30 elasticsearch-env-from-file
-rwxr-xr-x 1 es root 84 Mar 28 00:30 elasticsearch-geoip
-rwxr-xr-x 1 es root 87 Mar 28 00:30 elasticsearch-keystore
-rwxr-xr-x 1 es root 55 Mar 28 00:30 elasticsearch-node
-rwxr-xr-x 1 es root 172 Mar 28 00:30 elasticsearch-plugin
-rwxr-xr-x 1 es root 376 Mar 28 00:33 elasticsearch-reconfigure-node
-rwxr-xr-x 1 es root 353 Mar 28 00:33 elasticsearch-reset-password
-rwxr-xr-x 1 es root 353 Mar 28 00:33 elasticsearch-saml-metadata
-rwxr-xr-x 1 es root 353 Mar 28 00:33 elasticsearch-service-tokens
-rwxr-xr-x 1 es root 353 Mar 28 00:33 elasticsearch-setup-passwords
-rwxr-xr-x 1 es root 55 Mar 28 00:30 elasticsearch-shard
-rwxr-xr-x 1 es root 403 Mar 28 00:33 elasticsearch-sql-cli
-rwxr-xr-x 1 es root 3092864 Mar 28 00:33 elasticsearch-sql-cli-8.7.0.jar
-rwxr-xr-x 1 es root 353 Mar 28 00:33 elasticsearch-syskeygen
-rwxr-xr-x 1 es root 353 Mar 28 00:33 elasticsearch-users
[es@ecs-23051001 bin]$ ./elasticsearch -d
没报错即可~
3.1.5 在插件中连接查看是否启动成功(这里使用的是Elastic Search Head
插件下载地址:链接:https://share.weiyun.com/ytve3FZ8 密码:mvei2y)
3.2 启动Logstash:
3.2.1解压tar包后进入config配置文件,这里使用的是sample(展示最基础的配置,如果有深入使用可以进一步查看官方文档进行配置)
3.2.2 启动logstash
记得指定配置文件:./logstash -f config/logstash-sample.conf
-rw-r--r-- 1 root wheel 226 Mar 26 11:43 benchmark.bat
-rwxr-xr-x 1 root wheel 152 Mar 26 11:43 benchmark.sh
-rwxr-xr-x 1 root wheel 377 Mar 26 11:43 cpdump
-rwxr-xr-x 1 root wheel 1025 Mar 26 11:43 dependencies-report
-rw-r--r-- 1 root wheel 230 Mar 26 11:43 ingest-convert.bat
-rwxr-xr-x 1 root wheel 155 Mar 26 11:43 ingest-convert.sh
-rwxr-xr-x 1 root wheel 2149 Mar 26 11:43 logstash
-rw-r--r-- 1 root wheel 1202 Mar 26 11:43 logstash.bat
-rwxr-xr-x 1 root wheel 357 Mar 26 11:43 logstash-keystore
-rw-r--r-- 1 root wheel 257 Mar 26 11:43 logstash-keystore.bat
-rwxr-xr-x 1 root wheel 6300 Mar 26 11:43 logstash.lib.sh
-rwxr-xr-x 1 root wheel 358 Mar 26 11:43 logstash-plugin
-rw-r--r-- 1 root wheel 260 Mar 26 11:43 logstash-plugin.bat
-rw------- 1 root root 895296 Jul 6 07:58 nohup.out
-rwxr-xr-x 1 root wheel 1124 Mar 26 11:43 pqcheck
-rw-r--r-- 1 root wheel 480 Mar 26 11:43 pqcheck.bat
-rwxr-xr-x 1 root wheel 1125 Mar 26 11:43 pqrepair
-rw-r--r-- 1 root wheel 481 Mar 26 11:43 pqrepair.bat
-rwxr-xr-x 1 root wheel 623 Mar 26 11:43 ruby
-rw-r--r-- 1 root wheel 3368 Mar 26 11:43 setup.bat
-rwxr-xr-x 1 root wheel 3555 Mar 26 11:43 system-install
[root@ecs-23051001 bin]# nohup ./logstash -f config/logstash-sample.conf &
3.3 启动kibana
3.3.1 解压后到config文件下配置,编辑kibana.yml
根据es安装的地址进行配置
server.port: xxxx
server.host: "0.0.0.0"
elasticsearch.hosts: ['http://xxxx:xxxx']
i18n.locale: "zh-CN"
3.3.2 到bin目录下启动kibana(记得切换用户,无法以root启动)
3.3.3 启动成功后访问地址
3.3.4 在kibana中添加视图,查看统计等信息,在discover里新建
3.3.5 配置好之后保存视图
最后来查看效果:
ps:目前只是使用了最基础的安装方法以及使用,之间还可以加上filebeat,有更深入的使用还请翻阅官方文档~