ELK日志分析平台环境部署

最新推荐文章于 2022-03-01 18:16:56 发布

Logbook怪

最新推荐文章于 2022-03-01 18:16:56 发布

阅读量909

点赞数 4

本文链接：https://blog.csdn.net/aaaaaab_/article/details/82048240

版权

本文详细介绍了ELK（Elasticsearch、Logstash、Kibana）日志分析平台的部署过程，包括Elasticsearch的安装配置、集群搭建、Logstash的数据收集与转换、Kibana的可视化展示，以及如何通过syslog实现日志的远程传输和多行合并处理。此外，还展示了如何结合nginx和redis进行日志数据的联动分析，以及如何通过图形化界面实时监控和分析日志数据。

摘要由CSDN通过智能技术生成

注释：原理部分粘贴自https://www.cnblogs.com/kevingrace/p/5919021.html
日志概念介绍：

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及
错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
通常，日志被分散在储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是
感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志
后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的
查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

完整的日志数据体系：

通过我们需要对日志进行集中化管理，将所有机器上的日志信息收集、汇总到一起。
完整的日志数据具有非常重要的作用：
1）信息查找。通过检索日志信息，定位相应的bug，找出解决方案。
2）服务诊断。通过对日志信息进行统计、分析，了解服务器的负荷和服务运行状态，找出耗时请求进行优化等等。
3）数据分析。如果是格式化的log，可以做进一步的数据分析，统计、聚合出有意义的信息.

ELK平台部署：

开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成：
1）ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引
副本机制，restful风格接口，多数据源自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。
Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，
能够达到实时搜索，稳定，可靠，快速，安装使用方便。在elasticsearch中，所有节点的数据是均等的。
2）Logstash是一个完全开源的工具，它可以对你的日志进行收集、过滤、分析，支持大量的数据获取方法，并将其存储供以后
使用（如搜索）。说到搜索，logstash带有一个web界面，搜索和展示所有日志。一般工作方式为c/s架构，client端安装在需要
收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
3）Kibana 是一个基于浏览器页面的Elasticsearch前端展示工具，也是一个开源和免费的工具，Kibana可以为 Logstash 和
 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

为什么要用到ELK？

一般我们需要进行日志分析场景是：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率
低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集
汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。一般大型系统是一个分布式部署的架构，
不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，
构建一套集中式日志系统，可以提高定位问题的效率。

一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键
信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。
一个完整的集中式日志系统，需要包含以下几个主要特点：
1）收集－能够采集多种来源的日志数据
2）传输－能够稳定的把日志数据传输到中央系统
3）存储－如何存储日志数据
4）分析－可以支持 UI 分析
5）警告－能够提供错误报告，监控机制
ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统

实验环境，必须保证各个主机均有解析：

server1:master 172.25.38.1
server2:slave 172.25.38.2
server3:slave 172.25.38.3

安装es开源分布式搜索服务器：

[root@server1 ~]# ls
bigdesk-master.zip               jemalloc-devel-3.6.0-1.el6.x86_64.rpm
elasticsearch-2.3.3.rpm          kibana-4.5.1-1.x86_64.rpm
elasticsearch-head-master.zip    logstash-2.3.3-1.noarch.rpm
elk日志分析平台.pdf              nginx-1.8.0-1.el6.ngx.x86_64.rpm
jemalloc-3.6.0-1.el6.x86_64.rpm  redis-3.0.6.tar.gz
[root@server1 ~]# yum install -y elasticsearch-2.3.3.rpm

这里写图片描述
进行es的配置：

[root@server1 ~]# pwd
/root
[root@server1 ~]# ls
bigdesk-master.zip               jemalloc-devel-3.6.0-1.el6.x86_64.rpm
elasticsearch-2.3.3.rpm          kibana-4.5.1-1.x86_64.rpm
elasticsearch-head-master.zip    logstash-2.3.3-1.noarch.rpm
elk日志分析平台.pdf              nginx-1.8.0-1.el6.ngx.x86_64.rpm
jemalloc-3.6.0-1.el6.x86_64.rpm  redis-3.0.6.tar.gz
[root@server1 ~]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# ls
elasticsearch.yml  logging.yml  scripts
[root@server1 elasticsearch]# vim elasticsearch.yml    编辑主配置文件
[root@server1 elasticsearch]# /etc/init.d/elasticsearch start  无法安装，这是基于java环境下的
which: no java in (/sbin:/usr/sbin:/bin:/usr/bin)
Could not find any executable java binary. Please install java in your PATH or set JAVA_HOME

设置cluster和node节点的名字：
这里写图片描述
设置data和logs路径：

设置主机IP，打开9200端口，打开查询请求：

[root@server1 elasticsearch]# cd
[root@server1 ~]# ls
bigdesk-master.zip               jemalloc-devel-3.6.0-1.el6.x86_64.rpm
elasticsearch-2.3.3.rpm          kibana-4.5.1-1.x86_64.rpm
elasticsearch-head-master.zip    logstash-2.3.3-1.noarch.rpm
elk日志分析平台.pdf              nginx-1.8.0-1.el6.ngx.x86_64.rpm
jdk-8u121-linux-x64.rpm          redis-3.0.6.tar.gz
jemalloc-3.6.0-1.el6.x86_64.rpm
[root@server1 ~]# rpm -ivh jdk-8u121-linux-x64.rpm   安装jdk
[root@server1 ~]# /etc/init.d/elasticsearch start  开启服务
Starting elasticsearch:                                    [  OK  ]

这里写图片描述
可以查看到9200和9300端口：

[root@server1 ~]# netstat -antlp
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   
tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      908/sshd            
tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN      984/master          
tcp        0      0 172.25.38.1:22              172.25.38.250:45526         ESTABLISHED 1070/sshd           
tcp        0      0 ::ffff:172.25.38.1:9200     :::*                        LISTEN      1356/java           
tcp        0      0 ::ffff:172.25.38.1:9300     :::*                        LISTEN      1356/java           
tcp        0      0 :::22                       :::*                        LISTEN      908/sshd            
tcp        0      0 ::1:25                      :::*                        LISTEN      984/master

这里写图片描述
在网页访问可以看到集群信息：

调用plugin安装elasticsearch-head-master插件：

[root@server1 ~]# ls
bigdesk-master.zip               jemalloc-devel-3.6.0-1.el6.x86_64.rpm
elasticsearch-2.3.3.rpm          kibana-4.5.1-1.x86_64.rpm
elasticsearch-head-master.zip    logstash-2.3.3-1.noarch.rpm
elk日志分析平台.pdf              nginx-1.8.0-1.el6.ngx.x86_64.rpm
jdk-8u121-linux-x64.rpm          redis-3.0.6.tar.gz
jemalloc-3.6.0-1.el6.x86_64.rpm
[root@server1 ~]# /usr/share/elasticsearch/bin/plugin install file:/root/el
elasticsearch-2.3.3.rpm        elk日志分析平台.pdf
elasticsearch-head-master.zip  
[root@server1 ~]# /usr/share/elasticsearch/bin/plugin install file:/root/elasticsearch-head-master.zip   调用plugin安装插件
[root@server1 ~]# /usr/share/elasticsearch/bin/plugin list  可以列出信息
Installed plugins in /usr/share/elasticsearch/plugins:
    - head

这里写图片描述

[root@server1 ~]# cd /usr/share/elasticsearch/plugins
[root@server1 plugins]# ls
head
[root@server1 plugins]# cd head/
[root@server1 head]# ls
elasticsearch-head.sublime-project  LICENCE                       _site
Gruntfile.js                        package.json                  src
grunt_fileSets.js                   plugin-descriptor.properties  test
index.html                          README.textile

这里写图片描述
在网页可以访问查看节点信息：

在复合查询之中可以提交请求：

黄色代表主分片未丢失。红色代表主分片丢失，绿色表示未提交

在server2和server3安装服务：

在server配置集群节点信息：

[root@server1 ~]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# ls
elasticsearch.yml  logging.yml  scripts
[root@server1 elasticsearch]# vim elasticsearch.yml   设置集群节点

这里写图片描述

[root@server1 elasticsearch]# scp elasticsearch.yml server2:/etc/elasticsearch/  将文件传递给从节点
root@server2's password: 
elasticsearch.yml                             100% 3197     3.1KB/s   00:00    
[root@server1 elasticsearch]# scp elasticsearch.yml server3:/etc/elasticsearch/
root@server3's password: 
elasticsearch.yml                             100% 3197     3.1KB/s   00:00    
[root@server1 elasticsearch]# /etc/init.d/elasticsearch reload  修改完配置文件记得重载服务
Stopping elasticsearch:                                    [  OK  ]
Starting elasticsearch:                                    [  OK  ]

这里写图片描述
配置server2和server3节点：

[root@server2 ~]# cd /etc/elasticsearch/
[root@server2 elasticsearch]# ls
elasticsearch.yml  logging.yml  scripts
[root@server2 elasticsearch]# vim elasticsearch.yml  更改IP和主机名
[root@server2 elasticsearch]# /etc/init.d/elasticsearch start  开启服务
Starting elasticsearch:                                    [  OK  ]

这里写图片描述

最低0.47元/天解锁文章

Logbook怪

关注

4
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
ELK日志分析平台环境部署

注释：原理部分粘贴自https://www.cnblogs.com/kevingrace/p/5919021.html 日志概念介绍：日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散在储存不同的设备上。如果你管理...
复制链接

扫一扫