一、 ELK日志文件系统的介绍
ELK是日志系统管理的一款开源的架构,由 Logstash、ElasticSearch和Kiabana三个开源软件组成 。 可以对任何来源,任何类型的日志文件进行分析和可视化的统计整理展示。
二、ElasticSearch的集群安装与搭建
软件包安装节点介绍
数量 | 主机名 | 地址 | 版本 | 安装的软件 |
---|---|---|---|---|
第一台 | node1 | 192.168.10.5 | Linux7.4 64位 | ElasticSearch集群 |
第二台 | node2 | 192.168.10.6 | Linux7.4 64位 | ElasticSearch的集群、Kiabana |
第三台 | apache | 192.168.10.7 | Linux7.4 64位 | Logstash |
ELK基于前一篇搭建好的ElasticSearch集群接着搭建
三、Logstash工具的介绍与安装
软件包得下在地址在
1、Logstash工具的介绍
Logstash 是一款强大的数据处理工具,它可以实现数据传输,格式处理,格式化输出,还有强大的插件功能,常用于日志处理。
- Logstash的理念很简单,它只做3件事情:
- Collect:数据输入
- Enrich:数据加工,如过滤,改写等
- Transport:数据输出
LogStash的主要组件:
- Shipper:日志收集者 。负责监控本地日志文件的变化,及时把日志文件的最新内容收集起来。通常,远程代理端(agent)只需要运行这个组件即可;
- Indexer:日志存储者。负责接收日志并写入到本地文件。
- Broker:日志Hub。负责连接多个Shipper和多个Indexer
- Search and Storage:允许对事件进行搜索和存储;
- Web Interface:基于Web的展示界面
- 正是由于以上组件在LogStash架构中可独立部署,才提供了更好的集群扩展性
LogStash主机分类:
1)代理主机(agent host):作为事件的传递者(shipper),将各种日志数据发送至中心主机;只需运行Logstash 代理(agent)程序;
2&#x