文章目录
前言
日志分析是运维工程师解决系统故障,发现问题的主要手段。日志主要包括系统日志、应用程序日志和安全日志,系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。
通常,日志被分散的储存在不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志,即繁琐又效率低下。为此,我们可以使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集。
集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令进行检索和统计,但是对于更高要求的查询、排序和统计等,再加上庞大的机器数量,使用这样的方法依然难免有点力不从心。
开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个组成。官方网站: https://www.elastic.co/products ,Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
Logstash是一个完全开源的工具,它可以对你的日志进行收集、过滤,并将其存储,供以后使用(如,搜索)。
Kibana也是一个开源和免费的工具,Kibana可以为Logstash和ElasticSearch 提供友好的日志分析Web,可以帮助您汇总、分析和搜索重要数据日志。
一、ELK日志分析系统简介
1.1 ELK日志分析系统组成
- Elasticsearch
- Logstash
- Kibana
1.2 ELK工作原理
Logstash收集AppServer产生的Log,并存放到ElasticSearch集群中,而Kibana则从ES集群中查询数据生成图表,再返回给Browser。简单来说,进行日志处理分析,一般需要经过以下几个步骤:
1.将日志进行集中化管理(beats)
2.将日志格式化(logstash)
3.对格式化后的数据进行索引和存储(elasticsearch)
4.前端数据的展示(kibana)
1.3、Elasticsearch介绍
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。
Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是第二流行的企业搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
Elasticsearch的基础核心概念:
1、接近实时(NRT)
Elasticsearch是一个接近实时的搜索平台,这意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)
2、集群(cluster)
一个集群就是由一个或多个节点组织在一起,它们共同持有你整个的数据,并一起提供索引和搜索功能。其中一个节点为主节点,这个主节点是可以通过选举产生的,并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字,默认是elasticsearch,
集群名字很重要,每个节点是基于集群名字加入到其集群中的。因此,确保在不同环境中使用不同的集群名字。
一个集群可以只有一个节点。强烈建议在配置elasticsearch时,配置成集群模式。
3、节点(node)
节点就是一台单一的服务器,是集群的一部分,存储数据并参与集群的索引和搜索功能。像集群一样,节点也是通过名字来标识,默认是在节点启动时随机分配的字符名。当然,你可以自己定义。该名字也很重要,在集群中用于识别服务器对应的节点。
节点可以通过指定集群名字来加入到集群中。默认情况,每个节点被设置成加入到elasticsearch集群。如果启动了多个节点,假设能自动发现对方,他们将会自动组建一个名为elasticsearch的集群。
4、索引(index)
一个索引就是一个拥有几分相似特征的文档的集合。比如说,你可以有一个客户数据的索引,另一个产品目录的索引,还有一个订单数据的索引。一个索引由一个名字来标识((必须全部是小写字母的),并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候,都要使用到这个名字。在一个集群中,如果你想,可以定义任意多的索引。
- 索引相对于关系型数据库的库
5、类型(type)
在一个索引中,你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区,其语义完全由你来定。通常,会为具有一组共同字段的文档定义一个类型。比如说,我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。
在这个索引中,你可以为用户数据定义一个类型,为博客数据定义另一个类型,当然,也可以为评论数据定义另一个类型。
- 类型相对于关系型数据库的表
6、文档(document)
一个文档是一个可被索引的基础信息单元。比如,你可以拥有某一个客户的文档,某一个产品的一个文档,当然,也可以拥有某个订单的一个文档。文档以JSON(Javascript Object Notation)格式来表示,而JSON是一个到处存在的互联网数据交互格式。
在一个index/type里面,只要你想,你可以存储任意多的文档。注意,虽然一个文档在物理上位于一个索引中,实际上一个文档必须在一个索引内被索引和分配一个类型。
- 文档相对于关系型数据库的列
7、分片和副本(shards & replicas)
在实际情况下,索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上,或者从单个节点搜索请求太慢了。为了解决这个问题,elasticsearch提供将索引分成多个分片的功能。当在创建索引时,可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引,可以位于集群中任何节点上。
分片的两个最主要原因:
1.水平分割扩展,增大存储量
2.分布式并行跨分片操作,提高性能和吞吐量
分布式分片的机制和搜索请求的文档如何汇总完全是由elasticsearch控制的,这些对用户而言是透明的。
网络问题等等其它问题可以在任何时候不期而至,为了健壮性,强烈建议要有一个故障切换机制,无论何种故障以防止分片或者节点不可用。为此,elasticsearch让我们将索引分片复制一份或多份,称之为分片副本或副本。
副本也有两个最主要原因:
1.高可用性,以应对分片或者节点故障。出于这个原因,分片副本要在不同的节点上。
2.×××能,增大吞吐量,搜索可以并行在所有副本上执行。
总之,每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了,每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和副本的数量可以在索引创建的时候指定。在索引创建之后,你可以在任何时候动态地改变副本的数量,但是你事后不能改变分片的数量。
默认情况下,Elasticsearch中的每个索引被分片5个主分片和1个副本,这意味着,如果你的集群中至少有两个节点,你的索引将会有5个主分片和另外5个副本分片(1个完全拷贝),这样的话每个索引总共就有10个分片。
1.4、Logstash介绍
Logstash由JRuby语言编写,基于消息(message-based)的简单架构,并运行在Java虚拟机(JVM)上。不同于分离的代理端(agent)或主机端(server),LogStash可配置单一的代理端(agent)与其它开源软件结合,以实现不同的功能。
Logstash的理念很简单,它只做3件事情:
Collect:数据输入
Enrich:数据加工,如过滤,改写等
Transport:数据输出
LogStash的主要组件:
Shipper:日志收集者。负责监控本地日志文件的变化,及时把日志文件的最新内容收集起来。通常,远程代理端(agent)只需要运行这个组件即可
lndexer:日志存储者。负责接收日志并写入到本地文件
Broker:日志Hub。负责连接多个Shipper和多个lndexer
Search and Storage:允许对事件进行搜索和存储
Web Interface:基于Web的展示界面
正是由于以上组件在LogStash架构中可独立部署,才提供了更好的集群扩展性
LogStash主机分类:
代理主机(agent host):作为事件的传递者(shipper),将各种日志数据发送至中心主机;只需运行Logstash代理(agent)程序;
中心主机(central host):可运行包括中间转发器(Broker)、索引器(Indexer)、搜索和存储器(Search and Storage)、Web界面端(Web Interface)在内的各个组件,以实现对日志数据的接收、处理和存储
1.5、Kibana介绍
Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单,基于浏览器的用户界面可以快速创建仪表板(dashboard)实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编写代码,几分钟内就可以完成Kibana安装并启动Elasticsearch尝引监测。
主要功能:
1、Elasticsearch无缝之集成。Kibana架构为Elasticsearch定制,可以将任何结构化和非结构化数据加入Elasticsearch索引。Kibana还充分利用了Elasticsearch强大的搜索和分析功能。
2、整合你的数据。Kibana能够更好地处理海量数据,并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
3、复杂数据分析。Kibana提升了Elasticsearch分析能力,能够更加智能地分析数据,执行数学转换并且根据要求对数据切割分块。
4、让更多团队成员受益。强大的数据库可视化接口让各业务岗位都能够从数据集合受益。
5、接口灵活,分享更容易。使用Kibana可以更加方便地创建、保存、分享数据,并将可视化数据快速交流。
6、配置简单。Kibana的配置和启用非常简单,用户体验非常友好。Kibana自带Web服务器,可以快速启动运行。
7、可视化多数据源。Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch。
8、简单数据导出。Kibana可以方便地导出感兴趣的数据,与其它数据集合并融合后快速建模分析,发现新结果。
二、ELK部署
2.1 实验环境
各服务器安装服务分配,主机名及IP地址
需要使用的相关软件包
2.2 配置Elasticsearch环境
设置本地主机映射文件,三台主机检查Java环境
[root@node1 ~]# vim /etc/hosts
192.168.179.123 node1
192.168.179.124 node2
[root@node1 ~]# java -version '查看java版本'
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)
·安装elasticsearch—rpm包
[root@node1 ~]# rpm -ivh elasticsearch-5.5.0.rpm
更改elasticsearch主配置文件
[root@node1 ~]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
17 cluster.name: my-elk-cluster '集群名字'
23 node.name: node1 '节点名字'
33 path.data: /data/elk_data '数据存放路径'
37 path.logs: /var/log/elasticsearch/ '数据存放路径'
43 bootstrap.memory_lock: false '不在启动的时候锁定内存'
55 network.host: 0.0.0.0 '提供服务绑定的IP地址,0.0.0.0代表所有地址'
59 http.port: 9200 '侦听端口为9200'
68 discovery.zen.ping.unicast.hosts: ["node1", "node2"] '集群发现通过单播实现'
[root@node1 ~]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml '查看刚刚修改的配置文件'
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
创建数据存放路径并授权
[root@node1 ~]# mkdir -p /data/elk_data
[root@node1 ~]# chown elasticsearch:elasticsearch /data/elk_data/
启动Elasticsearch是否成功开启
[root@node1 ~]# systemctl start elasticsearch.service
[root@node1 ~]# netstat -ntap |grep 9200
tcp6 0 0 :::9200 :::* LISTEN 20500/java
查看节点信息,用真机的浏览器打开http://192.168.179.123:9200
节点2中和节点一操作一样,只有在修改配置文件时,节点名称需要改为node2
[root@node2 ~]# vim /etc/elasticsearch/elasticsearch.yml
node.name: node2
[root@node2 ~]# netstat -ntap |grep 9200
tcp6 0 0 :::9200 :::* LISTEN 10459/java
集群检查健康和状态
node1和node2安装elasticsearch-head插件
编译安装node组件依赖包
[root@node1 ~]# yum install gcc gcc-c++ make -y
[root@node1 ~]# tar zxvf node-v8.2.1.tar.gz
[root@node1 ~]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure
[root@node2 node-v8.2.1]# make -j3 '进行编译,指定3个线程数'
[root@node1 node-v8.2.1]# make install
安装phantomjs前端框架
[root@node1 ~]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
[root@node1 ~]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/
[root@node1 bin]# cp phantomjs /usr/local/bin/ '将phantomjs命令让系统识别'
安装elasticsearch-head数据可视化工具
[root@node1 ~]# tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install '初始化项目'
npm WARN deprecated fsevents@1.2.13: fsevents 1 will break on node v14+ and could be using insecure binaries. Upgrade to fsevents 2.
npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents@^1.0.0 (node_modules/karma/node_modules/chokidar/node_modules/fsevents):
npm WARN notsup SKIPPING OPTIONAL DEPENDENCY: Unsupported platform for fsevents@1.2.13: wanted {"os":"darwin","arch":"any"} (current: {"os":"linux","arch":"x64"})
npm WARN elasticsearch-head@0.0.0 license should be a valid SPDX license expression
up to date in 3.495s
修改主配置文件
[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml '在末尾添加'
http.cors.enabled: true '开启跨域访问支持,默认为false'
http.cors.allow-origin: "*" '跨域访问允许的域名地址,支持使用正则'
[root@node1 ~]# systemctl restart elasticsearch.service
启动elasticsearch-head
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start & '启动项目,后台运行'
[1] 121858
[root@node1 elasticsearch-head]#
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
[root@node1 elasticsearch-head]# netstat -ntap |grep 9200
tcp6 0 0 :::9200 :::* LISTEN 121753/java
[root@node1 elasticsearch-head]# netstat -ntap |grep 9100
tcp 0 0 0.0.0.0:9100 0.0.0.0:* LISTEN 121868/grunt
使用真机打开浏览器查看
在node节点中创建索引进行测试
[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"cllt","mesg":"hello world"}'
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}
索引创建完毕后,网页中进行查看
2.3 apache服务器部署logstash
安装httpd服务并启动
[root@apache ~]# yum install httpd -y
[root@apache ~]# systemctl start httpd
[root@apache ~]# netstat -ntap |grep 80
tcp6 0 0 :::80 :::* LISTEN 67743/httpd
安装logstash服务并启动
[root@apache ~]# rpm -ivh logstash-5.5.1.rpm
[root@apache ~]# systemctl start logstash.service
[root@apache ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
与elasticsearch(node)做对接测试
Logstash这个命令测试
字段描述解释:
-f 通过这个选项可以指定logstash的配置文件,根据配置文件配置logstash
-e 后面跟着字符串 该字符串可以被当做logstash的配置(如果是” ”,则默认使用stdin做为输入、stdout作为输出)
-t 测试配置文件是否正确,然后退出
'输入采用标准输入 输出采用标准输出,进行测试'
[root@apache ~]# logstash -e 'input { stdin{} } output { stdout{} }'
...
www.baidu.com '输入网址测试,测试正常后可退出'
2020-09-14T10:34:54.770Z apache www.baidu.com
www.sina.com.cn
2020-09-14T10:35:03.852Z apache www.sina.com.cn
www.taobao.com
2020-09-14T10:35:11.564Z apache www.taobao.com
'测试:使用rubydebug显示详细输出,codec为一种编解码器'
[root@apache ~]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
...
18:36:54.709 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com '输入网址'
{
"@timestamp" => 2020-09-14T10:37:04.225Z,
"@version" => "1",
"host" => "apache",
"message" => "www.baidu.com"
}
'使用logstash将信息写入elasticsearch中'
[root@apache ~]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.179.123:9200"] } }'
18:38:20.805 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com '输入网址测试'
www.sina.com
www.google.com.cn
宿主机浏览器访问node1节点,查看索引信息
做对接配置
Logstash配置文件主要由三部分组成:input、output、filter(根据需要来处理)
[root@apache ~]# chmod o+r /var/log/messages '给其他用户读的权限'
[root@apache ~]# ll /var/log/messages
-rw----r--. 1 root root 601686 9月 14 18:41 /var/log/messages
[root@apache ~]# vim /etc/logstash/conf.d/system.conf '编辑配置文件'
input { '输入'
file{
path => "/var/log/messages" '指定日志文件的绝对路径'
type => "system" '定义一个类型名称'
start_position => "beginning" '从头开始'
}
}
output { '输出到elasticsearch中'
elasticsearch {
hosts => ["192.168.179.123:9200"] '指定主节点IP地址'
index => "system-%{+YYYY.MM.dd}" '建立一个索引'
}
}
[root@apache ~]# systemctl restart logstash.service
2.4 node1主机安装Kibana
安装kibana
[root@node1 ~]# mv kibana-5.5.1-x86_64.rpm /usr/local/src/
[root@node1 ~]# cd /usr/local/src/
[root@node1 src]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@node1 src]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak '备份配置文件'
[root@node1 kibana]# vim kibana.yml '修改Kibana配置文件'
2 server.port: 5601 'kibana打开的端口'
7 server.host: "0.0.0.0" 'kibana侦听的地址'
21 elasticsearch.url: "http://192.168.179.123:9200" '和elasticsearch建立联系'
30 kibana.index: ".kibana" '在elasticsearch中添加.kibana索引'
[root@node1 kibana]# systemctl start kibana.service
[root@node1 kibana]# systemctl enable kibana.service
Created symlink from /etc/systemd/system/multi-user.target.wants/kibana.service to /etc/systemd/system/kibana.service.
[root@node1 kibana]# netstat -ntap |grep 5601
tcp 0 0 0.0.0.0:5601 0.0.0.0:* LISTEN 122556/node
2.5 访问测试
创建刚刚建立的索引,名字相同进行匹配
对接Apache主机的Apache 日志文件(访问的日志、错误的日志)
[root@apache ~]# cd /etc/logstash/conf.d/
[root@apache conf.d]# vim apache_log.conf
input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.179.123:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.179.123:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}
[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf '指定配置文件做测试'
访问apache网站后,再访问http://192.168.179.123:9100能发现两个索引信息
可以进入kibana界面创建索引