ELK日志分析系统

最新推荐文章于 2024-09-30 22:22:52 发布

G咖喱炒饭

最新推荐文章于 2024-09-30 22:22:52 发布

阅读量1k

点赞数

文章标签： elk elasticsearch 搜索引擎

本文链接：https://blog.csdn.net/galichaofan1/article/details/127292117

版权

本文详细介绍了如何配置和安装ELK日志分析系统，包括Elasticsearch、Logstash和Kibana的部署，以及Apache服务器日志的接入。通过Elasticsearch-head插件实现集群可视化管理，Logstash收集Apache日志并发送到Elasticsearch，最后通过Kibana展示和分析日志数据。

摘要由CSDN通过智能技术生成

一、概述

二、配置ELK日志分析系统

配置Elasticsearch环境（Node1 Node2）

部署安装Elasticsearch软件（Node1 Node2）

安装Elasticsearch-head插件（Node1 Node2）

编译安装 node

安装phantomjs

安装 Elasticsearch-head 数据可视化工具

修改Elasticsearch主配置文件

启动elasticsearch-head服务

通过Elasticsearch-head 查看ES信息

插入索引

部署 Logstash服务（Apache节点操作）

使用 rubydebug 输出详细格式显示，codec 为一种编解码器

使用 Logstash 将信息写入 Elasticsearch 中

定义logstash配置文件做对接配置（logstas—>ES）

浏览器验证查看索引信息

部署Kibana（在node1节点上操作）

将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示

一、概述

日志分析是运维工程师解决系统故障，发现、定位问题的主要途径。日志主要包括系统日志、应用程序日志和安全日志

系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

PS(话术)：elk 日志分析的工具（一般会给研发/开发+测试使用），管理的权限范围，不一定所有人全有通常，日志被分散的储存在不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志，即繁琐又效率低下。为此，我们可以使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于更高要求的查询、排序和统计等，再加上庞大的机器数量，使用这样的方法依然难免有点力不从心。

开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由 ElasticSearch、Logstash 和Kiabana 三个开源工具组成。

官方网站：Elastic Products: Search, Analytics, Logging, and Security | Elastic

Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本（replicat）机制，restful风格接口，多数据源，自动搜索负载等。
Logstash 是一个完全开源的工具，它可以对你的日志进行收集、过滤，并将其存储，供以后使用（如，搜索）。
Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供友好的日志分析Web 界面，可以帮助您汇总、分析和搜索重要数据日志。