目录
2.2 ELK Elasticsearch 集群部署(在Node1,Node2节点上操作)
4.3 安装Elasticsarch-head数据可视化工具
4.4 修改Elasticsearch主配置文件(这边展示node1,node2与之相同)
五. ELK Logstash部署(在Apache节点上操作)
5.2 测试logstash(Apache)与 elasticsearch(node)功能是否正常
5.2.1 输入采用标准输入 输出采用标准输出—登录192.168.119.20 在Apache服务器上
5.2.2 使用 rubydebug 输出详细格式显示,codec 为一种编解码器
5.2.3 使用logstash将信息写入elasticsearch中
六.ELK Kiabana部署(在Noed1节点上操作)
6.5 将 Apache 服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示
一.ELK概述
1.1 ELK简介
ELK平台是一套完整的日志集中处理解决方案,将ElasticSearch、Logstash和Kiabana 三个开源工具配合使用,完成更强大的用户对日志的查询、排序、统计需求。
1.2 ELK日志组件
- elasticsearch (es) :通过搭建群集;存储日志数据,索引日志数据
- logstash :收集日志,收集到了后给es存储
- kibana :视图形式展现日志信息,更加人性化
1.2.1 ELK组件介绍
ElasticSearch
1. 是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。
2. Elasticsearch 是用Java开发的,可通过RESTful Web接口,让用户可以通过浏览器与 Elasticsearch通信。
3. Elasticsearch是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通 常用于索引和搜索大容量的日志数据,也可用于搜索许多不同类型的文档
Logstash
1. 作为数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、 统一格式等操作,然后存储到用户指定的位置。一般会发送给Elasticsearch。 2. Logstash 由Ruby 语言编写,运行在Java虚拟机(JVM)上,是一款强大的数据处理工具,可以实现数据传输、格式处理、格式化输出。Logstash具有强大的插件功能,常用于日志处理。
Kiabana
1. Kibana 通常与ElasticSearch一起部署,Kibana是Elasticsearch的一个功能强大的数据可视化 Dashboard,Kibana提供图形化的web界面来浏览Elasticsearch日志数据,可以用来汇总、分 析和搜索重要数据。
1.3 日志处理步骤
- 将日志进行集中化管理
- 将日志格式化(Logstash)并输出到Elasticsearch
- 对格式化后的数据进行索引和存储(Elasticsearch)
- 前端数据的展示(Kibana)
二. Elasticsearch 集群部署
2.1 关闭防火墙
2.2 ELK Elasticsearch 集群部署(在Node1,Node2节点上操作)
2.2.1 更改主机名
2.2.2 配置域名解析 2.2.3 查看java环境
2.3 部署Elasticsearch软件
2.4 将软件包安装到/opt目录下2.5 加载系统服务 2.6 修改Elasticsearch主配置文件2.7 创建数据存放路径并授权
2.8 启动Elasticsearch是否成功开启 2.9 查看节点信息
三.安装Elasticsearch-head插件
Elasticsearch 在 5.0 版本后,Elasticsearch-head 插件需要作为独立服务进行安装,需要使用npm工具(NodeJS的包管理工具)安装Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs
node:是一个基于 Chrome V8 引擎的 JavaScript 运行环境
phantomjs:是一个基于 webkit 的JavaScriptAPI,可以理解为一个隐形的浏览器,任何基于 webkit 浏览器做的事情,它都可以做到
4.1 编译安装node,这边只演示node2上,node1上操作相同 4.2 安装phantomjs4.3 安装Elasticsarch-head数据可视化工具 4.4 修改Elasticsearch主配置文件(这边展示node1,node2与之相同)4.5 启动Elasticsearch-head服务
必须在解压后的 elasticsearch-head 目录下启动服务,进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败
4.6 访问浏览器4.7 插入索引
五. ELK Logstash部署(在Apache节点上操作)
5.1 安装logstash5.1.1 修改主机名5.1.2 安装httpd并启动5.1.3 安装java环境 5.1.4 安装logstash
5.2 测试logstash(Apache)与 elasticsearch(node)功能是否正常
字段描述解释:
- -f 通过这个选项可以指定logstash的配置文件,根据配置文件配置logstash
- -e 后面跟着字符串 该字符串可以被当做logstash的配置(如果是“空”则默认使用stdin做为输入、stdout作为输出)
- -t 测试配置文件是否正确,然后退出
logstash -f 配置文件名字 去连接elasticsearch
5.2.1 输入采用标准输入 输出采用标准输出—登录192.168.119.20 在Apache服务器上5.2.2 使用 rubydebug 输出详细格式显示,codec 为一种编解码器
5.2.3 使用logstash将信息写入elasticsearch中
5.3 定义 logstash配置文件
Logstash 配置文件基本由三部分组成:input、output 以及 filter(可选,根据需要选择使用)5.3.1 给目录可读权限 5.3.2 修改logstash配置文件5.3.3重启服务 5.3.4 访问浏览器
六.ELK Kiabana部署(在Noed1节点上操作)
6.1 安装Kiabana
6.2 设置Kibana的主配置文件 6.3 启动Kibana服务 6.4 验证Kibana,访问浏览器
6.5 将 Apache 服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示 6.6 浏览器访问,查看索引信息能发现两个日志 6.7 浏览器访问
添加索引apache_error-*添加索引apache_access-*