ELK 日志分析系统
1、环境概述日志分析是运维工程师解决系统故障,发现问题的主要手段。
Linux操作系统中**日志主要包括系统日志、用户日志、应用程序日志和安全日志。**
查看页面提示
/var/log/messages
服务自身的日志
系统运维和开发人员可以通过日志来了解服务器的软硬件信息、检查服务配置过程中的错误及错误发生的原因。
经常分析日志可以了解服务器的负荷,性能和安全性,从而及时采取响应措施纠正错误。默认情况下,日志被分散的储存在各个相应的设备上。如果你管理了数十上百台服务器,而你还在使用传统方式依次登录每台机器查阅日志,即繁琐又效率低下。为此,我们可以使用集中化的日志管理工具。
例如:开源的syslog可将所有服务器上的日志收集汇总,集中管理
集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk、 sed、 sort、 uniq、 wc等Linux文本命令实现日志检索和统计,但是对于更高要求的查询、排序和统计等需求,再加上庞大的机器数量,使用这样的方法依然难免有点力不从心。
开源实时日志分析ELK平台能够完美的解决我们上述的问题,
ELK [Stack]由ElasticSearch、Logstash和Kibana 三个开源工具组成。
官方网站: https://www.elastic.co/cn/。
-
Elasticsearch
- **是个开源分布式搜索引擎,（用于查询类型的事情）**它的特点有:分布式,零配置,自动发现,索引自动分片（增加数据安全性）,索引副本机制（增加查询效率）, restful风格接口,多数据源,自动搜索负载等。
-
Logstash
- 是一个完全开源的工具,它可以对日志进行收集、过滤,输出并将其存储,供以后使用(如ES搜索)。
-
Kibana
- （是一个页面展示工具、展示web页面）也是一个开源和免费的工具, Kibana可以为Logstash和ElasticSearch提供友好的日志分析Web界面,可以帮助用户汇总、分析和搜索重要数据日志。
ELK原理
- 由APPserver产生日志
- Logstach Agent 负责收集、采集、然后做日志格式处理
- Elastic Search Cluster 负责存储以及检索
- kibana 做页面展示
- Browser浏览器显示
Logstash 收集AppServer 产生的Log, 并存放到ElasticSearch集群中,而Kibana则从ES集群中查询数据生成图表,再返回给Browser。
简单来说,进行日志处理分析,一般需要经过以下几个步骤:
- 采集应用程序产生的日志(filebeat)前端采集日志
- 将日志格式化(logstash）（将各种个格式转换成统一的格式）
- 对格式化后的数据进行索引和存储(elasticsearch)（将接收的日志变成统一格式的日志）
- 前端数据的展示(kibana)
filebeat相对比Logstach 少了很多功能 、filebeat只能采集程序产生的日志
（很多大公司会使用filebeat 做页面的日志采集 然后交给logstach做格式化且只做格式化）
使用k8s 的话也使用filebeat
如果公司服务器规模不大的话就不需要使用filebeat
Elasticsearch 介绍
Elasticsearch是一个基于Lucene二次开发的开源搜索引擎。
它稳定、可靠、快速、而且具有比较好的水平扩展能力,为分布式环境设计、在云计算中被广泛的应用。
Elasticsearch提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口(USB)。通过该接口,用户可以通过浏览器与Elasticsearch通信。
Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布。
Wikipedia、Stack、 Overflow, GitHub 等都是基于Elasticsearch来构建的搜索引擎,具有实时搜索、稳症、可靠、快速、安装使用方便等特点。
Elasticsearch的基础核心概念(由于查询)
接近实时(NRT)
Elasticsearch是一个搜索速度接近实时的搜索平台,响应速度非常快,这意味着从索引个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)。
集群(cluster):靠集群名识别
一个集群就是由一个或多个节点组织在一起,在所有的节点上存放用户数据**,并一起提供索引和搜索功能**。(通过增加索引来加快搜索速度)
其中一个节点为主节点,这个主节点是可以通过选举产生的,并提供跨节点的联合索引和搜索的功能。
每个集群都有一个唯一性标示的名称,默认是Elasticsearch,集群名字很重要,每个节点是基于集群名字加入到其集群中的。
因此,确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点,为了具有更好的容错性。
强烈建议在配置Elasticsearch 时,配置成集群模式
索引(index)
类似于关系型数据库中的“库"。当索引一个文档后,就可以使用Elasticsearch搜索到该文档,也可以简单的将索引理解为存储数据的地方,可以方便的进行全文索引。在index下面包含存储数据的类型(Type), Type类似于关系型数据库中的“表”,用来存放具体数据,而Type下面包含文档(Document),文档相当于关系型数据库的“记录",一个文档是一个可被索引的基础信息单元。
类型(type)
在一个索引中,可以定义一种或多种类型。一个类型是索引的一个逻辑上的分类/分区,其语义完全由用户来定。通常会为具有一组共同字段的文档定义一个类型。比如说,我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中,你可以为用户数据定义一个类型,为博客数据定义另一个类型,当然,也可以为评论数据定义另一个类型。类型相对于关系型数据库的表。.
文档(document)
一个文档是一个可被索引的基础信息单元。比如,你可以拥有某一个客户的文档,某一个产品的一个文档,当然,也可以拥有某个订单的一个文档。文档以JSON (Javascript ObjectNotation)格式来表示,而JSON是一个到处存在的互联网数据交互格式。在一个index/type里面,只要你想,你可以存储任意多的文档。注意,虽然一个文档在物理上位于一个索引中,实际上一个文档必须在一个索引内被索引和分配一个类型。文档相对于关系型数据库的列
分片和副本(shards & replicas)
Elasticsearch将索引分成若干个部分,每个部分称为一个分片,每个分片就是一个全功能的独立的索引。（默认分成5份）
（假如在一个很大的数据池内搜索数据很困难、但是若是把数据池分成几份、就可以缩小搜索范围、从而提高搜索速度）
分片的数量一般在索引创建前指定,目创建索引后不能更改。分片的两个最主要原因:
a.水平分割扩展,增大存储量,
b.分布式并行跨分片操作,提高性能和吞吐量
一个好的数据春初方案要求无论何种故障(如节点不可用)下数据都可用,并且具有较高的存储效率。
为此, Elasticsearch将索引分片复制一份货多份,称为副本。副本是索引的另一个备份,用于数据冗余以及负载分担。
默认情况下Elasticsearch自动对索引请求进行负载分担。总之,索引可以被分为若干个分片。
这些分片也可以被复制0次(意思是没有复制)或多次。当副本存在时,作为复制源的分片称为主分片,而作为复制目标的分片称为复制分片。
分片和副本的数量可以在索引创建时指定。在索引创建之后,可以改变副本的数量,但是不能改变分片的数量。
默认情况下,Elasticsearch中的每个索引被分成5个主分片和1个副本。
在两个节点的场景中,每个索引将会有5个主分片和另外5个副本分片;每个索引总共就有10个分片。
logstash 介绍
Logstash由JRuby 语言编写,基于消息(message-based)的简单架构,并运行在Java虚拟机(JVM)上,是一款强大的数据处理工具。可以实现数据传输、格式处理、格式化输出。Logstash具有强大的插件功能,常用用于日志处理。Logstash可配置单一的代理端,与其他开源软件结合,实现不同功能。
Logstash的理念很简单,它只做3件事情:
-
Collect:数据输入
-
Enrich数据加工(过滤,改写等)
-
Transport:数据输出
别看它只做3件事,但通过组合输入和输出,可以变幻出多种架构实现多种需求。这里,只抛出用以解决日志汇总需求的部署架构图:
logStash 的主要组件
Shipper:日志收集者。负责监控本地日志文件的变化,及时把日志文件的最新内容收集起来。通常远程代理端(agent)只需要运行这个组件即可;
Indexer:日志存储者。负责接收日志并写入到本地文件。
Broker: 日志Hub(仓库)。负责连接多个Shipper和多个Indexer.Search and Storage:完许对事件进行搜索和存储;
Web Interface:基于Web的展示界面.正是由于以上组件在LogStash架构中可独立部署,才提供了更好的集群扩展性
Logstash使用管道方式进行日志的搜集处理和输出,有点类似Linux系统的管道命令,将前一个流程的处理结果发送到后一个流程继续处理。
在Logstash中**,包括了三个阶段,分别是输入(Input)、处理(Filter,非必须)和输出(Output)。**
Logstash主机分类代理主机(agent host):作为事件的传递者(shipper),将各种日志数据发送至中心主机;代理主机运行在每个需要采集日志的主机上。
中心主机(central host):可运行包括中间转发器(Broker)、索引器(Indexer)、搜索和存储器(Search and Storage), Web 界面端(Web Interface)在内的各个组件,以实现对日志数据的接收、处理和存储。
Kibana介绍(图形展示)
Kibana是一个针对Elasticsearch的开源分析及可视化平台,主要设计用来和Elasticsearch一起工作。可以搜索、查看交互存储在Elasticsearch索引中的数据。并通过各种图表进行高级数据分析及展示。Kibana_可以让海量数据更容易理解。基于浏览器的用户界面可以快速创建仪表板(dashboard)实时显示Elasticsearch查询动态。Kibana使用非常简单,只需要添加索引就可以检测Elasticsearch索引数据。
Kibana的主要功能:
- Elasticsearch无缝之集成Kibana架构为Elasticsearch定制,可以将任何结构化和非结构化数据加入Elasticsearch索引。Kibana还充分利用了Elasticsearch强大的搜索和分析功能。
- 整合你的数据。Kibana能够更好地处理海量数据,并据此创建柱形图、折线图、散点图、直方图、饼图和地图,以便用户查看。
- 复杂数据分析。Kibana提升了Elasticsearch分析能力,能够更加智能地分析数据,执行数学转换并且根据要求对数据切割分块。
- 让更多团队成员受益。强大的数据库可视化接口让各业务岗位都能够从数据集合受益。接口灵活,分享更容易。使用Kibana可以更加方便地创建、保存、分享数据,并将可视化数据快速交流。
- 配置简单。Kibana的配置和启用非常简单,用户体验非常友好。Kibana自带Web服务器,可以快速启动运行。
- 可视化多数据源。Kibana可以非常方便地把来自Logstash、ES-Hadoop、 Beats或第三方技术的数据整合到Elasticsearch,支持的第三方技术包括Apache Flume、Fluentd等。
- 简单数据导出。Kibana可以方便地导出感兴趣的数据,与其它数据集合并融合后快速建模分析,发现新结果
配置ELK日志分析系统
:配置和安装ELK日志分析系统,安装集群方式, 。
2个elasticsearch节点分配4GB(>2GB)内存,并监控apache (1GB内存)服务器日志
预部署
#内存 2G 最好大于4G内存
192.168.100.3 elk-node1 4G
192.168.100.4 elk-node2 4G
192.168.100.5 apache 2G
创建多台Elasticsearch节点的目的是存放数据的多个副本,在实际生产环境中,节点的数量可能更多,另外本案例中, Elasticsearch和kibana集中部署在elk-node1节点上,也可以采用分布式部署,即Logstash、Elasticsearch和Kibana分别部署在不同的服务器上。
#改名
hostname elk-node1
hostname apache
#修改hosts文件
vim /etc/hosts
192.168.100.3 elk-node1
192.168.100.4 elk-node2
#两台elk都需要配置
scp /etc/hosts 192.168.100.4:/etc/
#三台都需要安装JDK
#elk都是基于JDK （java）
yum -y install *openjdk*
#elk-node1 和 2 都要做
#安装elasticsearch
#重启、设置开机自启动
[root@elk-node1 ~]# rpm -ivh elasticsearch-5.5.0.rpm
[root@elk-node2 ~]# rpm -ivh elasticsearch-5.5.0.rpm
systemctl daemon-reload
systemctl enable elasticsearch.service
#修改elasticsearch配置文件
[root@elk-node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
17 cluster.name: my-elk-cluster #设置集群的名字、node1、2 必须相同
23 node.name: elk-node1 #节点的名字（主机名）
33 path.data: /data/elk-data #为数据存放目录
37 path.logs: /var/log/elasticsearch #日志存放路径
43 bootstrap.memory_lock: false #不在启动时锁定内存
55 network.host: 0.0.0.0 #提供服务绑定的ip、（0.0.0.0代表所有）
59 http.port: 9200 #指定监听端口
68 discovery.zen.ping.unicast.hosts: ["elk-node1", "elk-node2"] #表示集群中所有实例、主机名
#elk-node1还需要末行添加的内容
89 http.cors.enabled: true #开启跨区域传送
90 http.cors.allow-origin: "*" #跨区域访问允许的域名地址
#修改elasticsearch配置文件
[root@elk-node2 ~]# vim /etc/elasticsearch/elasticsearch.yml
17 cluster.name: my-elk-cluster #设置集群的名字、node1、2 必须相同
23 node.name: elk-node2 #节点的名字（主机名）
33 path.data: /data/elk-data #为数据存放目录
37 path.logs: /var/log/elasticsearch #日志存放路径
43 bootstrap.memory_lock: false #不在启动时锁定内存
55 network.host: 0.0.0.0 #提供服务绑定的ip、（0.0.0.0代表所有）
59 http.port: 9200 #指定监听端口
68 discovery.zen.ping.unicast.hosts: ["elk-node1", "elk-node2"] #表示集群中所有实例、主机名
#创建数据存放路径、elk的节点都需要做
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
#启动elasticsearch、查看是否启动成功
systemctl start elasticsearch.service
netstat -anpt | grep 9200
#浏览器访问
http://192.168.100.4:9200
#通过浏览器中输入
#查看集群状况，可以看到status为green绿色
http://192.168.100.4:9200/_cluster/health?pretty
#安装elasticsearch-head插件（提供web界面）（可忽略）
#elasticsearch在5.0版本后，elasticsearch-head插件需要作为独立服务进行安装，需要npm命令node-v8.2.1-linux-x64.tar.gz自带npm命令
上传 node-v8.2.1-linux-x64.tar.gz
tar xf node-v8.2.1-linux-x64.tar.gz -C /usr/local/
ln -sv /usr/local/node-v8.2.1-linux-x64/bin/node /usr/bin/node
ln -sv /usr/local/node-v8.2.1-linux-x64/bin/node /usr/local/bin
node -v
npm -v
#上传elasticsearch-head.tar.gz
tar xf elasticsearch-head.tar.gz -C /data/elk_data/
cd /data/elk_data/
chown -R elasticsearch.elasticsearch elasticsearch-head/
ll
cd elasticsearch-head/
npm install
#安装elasticsearch-head 作为独立服务并后台启动
这将启动运行在端口9100上的本地web服务器，该端口服务于elasticsearch
cd _site/
vim app.js
4329 this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.100.3:9200";
npm run start &
systemctl restart elasticsearch.servic
netstat -lnpt |grep 9100
#通过浏览器进行访问：http://192.168.100.3:9100/
#通过命令测试实验分片
curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'Content-Type: application/json' -d '{ "user": "zhangsan","mesg":"hello world"}'
安装logstash
Logstash一般部署在需要监控其日志的服务器中的,本案例中, Logstash部署在Apache服务器上,用于搜集Apache服务器的日志信息并发送到Elasticsearch中,在正式部署之前,先再Node1上部署Logstash,以熟悉Logstash_的使用方法。Logstash也需要Java环境,所以按照之前也要检查当前机器的Java环境是否存在。
#在elk-onde1上安装
#上传logstash-5.5.1.rpm（logstash也需要java环境所以安装yum -y install *openjdk*）
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
ln -sv /usr/share/logstash/bin/logstash /usr/local/bin/
logstash 命令行中常用的选项
-f:通过这个命令可以指定Logstash的配置文件,根据配置文件配置logstash.
-e:后面跟着字符串,该字符串可以被当做logstash的配置(如果是"”则默认使用stdin作为输入, stdout 作为输出)（做测试用）
-t:测试配置文件是否正确,然后退出.
启动一个logstash-e:在命令行执行; input输入, stdin标准输入,是一个插件; output输出, stdout:标准输出,
测试：logstash -e 'input { stdin{} }output { stdout{} }'
手动输入www.baidu.com
手动输入www.jd.com
#完成后（Ctrl+c）结束
#使用rubydebug显示详细输出，codec为一种字符编码
logstash -e 'input { stdin{} } output { stdout{ codec =>rubydebug} }'
手动输入www.baidu.com
#使用logstash 将信息写入到elasticsearch中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=> ["192.168.100.3:9200"]} }'
www.baidu.com
www.taobao.com
logstash配置文件使用
logstash 配置文件基本上由三部分组成,input、output以及用户需要才添加的filter,因此标准的配置文件格式如下
:
input {…}
filter {…}
output {…}
在每个部分中,也可以指定多个访问方式,例如我想要指定两个日志来源文件,则可以这样写:
input
file { path =>“/var/log/messages” type =>“syslog”}
file { path =>“/var/log/apache/access.log” type =>“apache” }
}
下面是一个收集系统日志的配置文件例子,将其放到/etc/logstash/conf.d/目录中, logstash启动的时候便会加载。注意要给logstash读取日志文件的权限。
类型(type)在一个索引中,可以定义一种或多种类型。一个类型是索引的一个逻辑上的分类/分区,其语义完全由用户来定。通常会为具有一组共同字段的文档定义一个类型。比如说,我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中,你可以为用wn户数据定义一个类型,为博客数据定义另一个类型,当然,也可以为评论数据定义另一个类型。类型相对于关系型数据库的表。.
#案例：配置收集系统日志
#将system.conf放到/etc/logstash/conf.d目录中，logstash启动的时候便会加载
cd /etc/logstash/conf.d/
vim system.conf
input {
file {
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["192.168.100.3:9200"]
index => "system-%{+YYYY.mm.dd}"
}
}
#重启 放到后台运行
systemctl restart logstash.service
nohup /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/system.conf &
systemctl stop logstash.service
#访问查看
#刷新
安装Kibana
#在elk-node1服务器上安装kibana，并设置开机自启
#上传kibana-5.5.1-x86_64.rpm
rpm -ivh kibana-5.5.1-x86_64.rpm
systemctl enable kibana.service
#修改配置文件
vim /etc/kibana/kibana.yml
2 server.port: 5601
7 server.host: "0.0.0.0"
21 elasticsearch.url: "http://192.168.100.3:9200"
30 kibana.index: ".kibana"
#启动kibana
systemctl start kibana.service
netstat -lnptl|grep 5601
浏览器访问http://192.168.100.3:5601/
案例：apache访问日志
#node3：apcpche服务器
yum -y install httpd
上传logstash-5.5.1.rpm
rpm -ivh logstash-5.5.1.rpm
systemctl enable logstash.service
systemctl start httpd
systemctl stop firewalld
iptables -F
setenforce 0
浏览器访问：http://192.168.100.5/
cd /etc/logstash/conf.d/
vim apache.conf
input {
file {
path => "/var/log/httpd/access_log"
type => "access"
}
file {
path => "/var/log/httpd/error_log"
type => "error"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.100.3:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.100.3:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
}
/usr/share/logstash/bin/logstash -f apache.conf
00.5/
cd /etc/logstash/conf.d/
vim apache.conf
input {
file {
path => “/var/log/httpd/access_log”
type => “access”
}
file {
path => “/var/log/httpd/error_log”
type => “error”
}
}
output {
if [type] == “access” {
elasticsearch {
hosts => [“192.168.100.3:9200”]
index => “apache_access-%{+YYYY.MM.dd}”
}
}
if [type] == “error” {
elasticsearch {
hosts => [“192.168.100.3:9200”]
index => “apache_access-%{+YYYY.MM.dd}”
}
}
}
/usr/share/logstash/bin/logstash -f apache.conf
2828
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
