主要介绍
环境
- 本地环境:deepin 15.9
- Java环境:1.8.0_171
- 软件版本:
- elasticsearch-6.6.2
- logstash-6.6.2
- kibana-6.6.2-linux-x86_64
日志分析的好处:
系统和业务的日志很重要,通过对日志的分析有以下的好处:
- 信息查找。通过检索日志信息,定位相应的bug,找出解决方案(锅)。
- 服务诊断。通过对日志信息进行统计、分析,了解服务器的负荷和服务运行状态,找出耗时请求进行优化等等。
- 数据分析。可以做进一步的数据分析,统计、聚合出有意义的信息。
主要的软件
- elasticsearch:一个基于Lucene的开源分布式搜索服务器。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。Elasticsearch是用Java开发的,所以需要本地装有Java环境
- logstash:可以对你的日志进行收集、过滤、分析,支持大量的数据获取方法,并将其存储供以后使用(如搜索)
- kibana:一个基于浏览器页面的Elasticsearch前端展示工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。
ELK的思路
Logstash收集产生的Log或其他数据,并存放到ElasticSearch集群中,而Kibana则从ES集群中查询数据并可视化,再返回给Browser
安装配置Elasticsearch
-
首先去官网下载: 官网地址www.elastic.co
-
安装并添加用户(root使用会报错)
#解压到opt
tar -zxvf elasticsearch-6.6.2.tar.gz
#添加用户
adduser HXH
#返回/opt添加权限
chown -R HXH elasticsearch-6.6.2
#切换用户
su HXH
- 修改limits.conf
- 配置sysctl
#让配置生效
sysctl -p
-
启动服务: ./elasticsearch-6.6.2/bin/elasticsearch
-
启动成功
(可选)安装elasticsearch-head插件
-
通过elasticseach自带的plugin命令 (找不到包安装不了)
-
github下载:这是地址
- 本地需要有npm(sudo apt-get install npm)
- 编译源码:npm install -g grunt-cli
- 安装:npm install
- 启动:grunt server
-
效果
安装配置Logstash
-
首先去官网下载: 官网地址www.elastic.co
-
安装并配置
#解压到opt
tar -zxvf logstash-6.6.2.tar.gz
-
本地测试接收从终端输入,Logstash解析输出到控制台 ,并输出到ElasticSearch
-
启动:
root@shuxnhs-PC:/opt/logstash/bin# ./logstash -f …/test/std_std.conf
5.效果图
安装配置Kibana
-
首先去官网下载: 官网地址www.elastic.co
-
安装并配置
#解压到opt
tar -zxvf kibana-6.6.2-linux-x86_64.tar.gz
- 启动./bin/kibana
- 效果图