ELK日志分析系统
ELK日志分析系统简介
日志服务器介绍
优点:
- 提高安全性
- 集中存放日志
缺点:
- 对日志的分析困难
ELK日志分析系统
ELK组成
- Elasticsearch: ES(nosql非关数据库):存储功能和索引
- Logstash(收集日志):到应用服务器上拿取log,并进行格式转换后输出到es中
通过input功能来收集/采集log
filter过滤器:格式化数据
output输出:日志输出到es数据库内 - Kibana(展示工具):将es内的数据在浏览器展示出来,通过UI界面展示(可以根据自己的需求对日志进行处理,方便查阅读取)
日志处理步骤
- 1.将日志进行集中化管理
- 2将日志格式化(Logstash)并输出到Elasticsearch
- 3.对格式化后的数据进行索引和存储(Elasticsearch)
- 4.前端数据的展示(Kibana) 。Ul界面展示(可以根据自己的需求对日志进行处理,方便查阅读取)
Elasticsearch的基础核心概念
1.接近实时(NRT)
elasticsearch是一个接近实时的搜索平台,这意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)
2.集群(cluster)
一个集群就是由一个或多个节点组织在一起,它们共同持有整个的数据,并一起提供索引和搜索功能。其中一个节点为主节点,这个主节点是可以通过选举产生的,并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字,默认是elasticsearch
集群名字很重要,每个节点是基于集群名字加入到其集群中的。因此,确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点。强烈建议在配置elasticsearch时, 配置成集群模式。es 具有集群机制,节点通过集群名称加入到集群中,同时在集群中的节点会有一个自己的唯一 身份标识(自己的名称) .
3.节点(node)
节点就是一台单一的服务器,是集群的一部分,存储数据并参与集群的索引和搜索功能。像集群一样,节点也是通过名字来标识,默认是在节点启动时随机分配的字符名。当然,你可以自己定义。该名字也很重要,在集群中用于识别服务器对应的节点。
4.索引
一个索引就是一个拥有积分相似特征的文档的集合,由一个名字来标识(必须全部是小写字母),索引相对于关系型数据库的库
5.类型
在一个索引种,可以定义一种或多种类型,一个类型是索引的一个逻辑上的分类/分区,其语义完全自定义。类型相对于关系型数据库的表
6.文档
一个文档是一个可被索引的基础信息单元,文档相对于关系型数据库的列
7.分片和副本
- 分片的主要原因
- 1.水平分割扩展、增大存储量
- 2.分布式并行分片操作,提高性能和吞吐量
- 副本的主要原因
- 1.高可用性,以应对分片或节点故障
- 2.qps性能、增大吞吐量,搜索可以并行在所有副本上执行
- 分片和副本的数量可以在索引创建的时候指定,在索引创建之后,可以动态地改变副本的数量,但是不能改变分片的数量
logstash介绍
1.logstash主要组件
正是由于以下组件在LogStash架构中可独立部署,才提供了更好的集群扩展性
Shipper:日志收集者
负责监控本地日志文件的变化,及时把日志文件的最新内容收集起来。通常,远程代理端(agent) 只需要运行这个组件
Indexer:日志存储者
负责接收日志并写入到本地文件
Broker:日志Hub
负责连接多个Shipper和多个Indexer
Searchandstorage
允许对事件进行搜索和存储
Web Interface
基于Web的展示界面
2.logstash主机分类
- 代理主机(agent host) :作为事件的传递者(shipper),将各种日志数据发送至中心主机;只需运行Logstash 代理(agent)程序;
- 中心主机(central host) :可运行包括中间转发器(Broker)、索引器(Indexer) 、搜索和存储器(Search and Storage )、Web界面端“(Web Interface) 在内的各个组件,以实现对日志数据的接收、处理和存储
Kibana介绍
- Kibana是一个 针对Elasticsearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。
- Kibana让海量数据更容易理解。它操作简单,基于浏览器的用户界面可以快速创建仪表板(dashboard) 实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编写代码,几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。
主要功能:
-
1.Elasticsearch无缝之集成。Kibana架构为Elast icsearch定制, 可以将任何结构化和非结构化数据加入Elast icsearch索引。Kibana还充分利用了Elasticsearch强大的搜索和分析功能。
-
2.整合你的数据。Kibana能够更好地处理海量数据,并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
-
3.复杂数据分析。Kibana提升了Elasticsearch分析能力,能够更加智能地分析数据,执行数学转换并且根据要求对数据切
割分块。 -
4.让更多团队成员受益。强大的数据库可视化接口让各业务岗位都能够从数据集合受益。
-
5.接口灵活,分享更容易。使用Kibana可以更加方便地创建、保存、分享数据,并将可视化数据快速交流。
-
6.配置简单。Kibana的配置和启用非常简单,用户体验非常友好。Kibana自带Web服务器,可以快速启动运行。
-
7.可视化多数据源。Kibana可 以非常方便地把来自Logstash、ES-Hadoop、 Beats或第三方技术的数据整合到Elasticsearch,支持的第三方技术包括Apache Flume、 Fluentd等
-
8.简单数据导出。Kibana可以方便地导出感兴趣的数据,与其它数据集合并融合后快速建模分析,发现新结果。
ELK部署
实验环境
主机名 主要软件 IP地址
ES服务器:node1 Elasticsearch,Kibana 192.168.220.101
ES服务器,node2 Elasticsearch 192.168.220.102
Logstash服务器 Logstash,Apache 192.168.220.103
配置ES环境
配置JDK环境
添加地址映射
node1和node2同步操作
[root@node1 ~]# vim /etc/hosts
192.168.220.101 node1
192.168.220.102 node2
解压安装jdk
[root@node1 opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
[root@node1 opt]# vim /etc/profile //插入环境
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
[root@node1 opt]# source /etc/profile
[root@node1 opt]# java -version //查看java版本
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)
部署elasticsearch软件
1.安装软件
上传elasticsearch-5.5.0.rpm到/opt目录下
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm
2.加载系统服务
[root@node1 opt]# systemctl daemon-reload
[root@node1 opt]# systemctl enable elasticsearch.service
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.
3.更改elasticsearch主配置文件
[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
//拷贝配置文件
[root@node1 opt]# vi /etc/elasticsearch/elasticsearch.yml
//取消以下对应行的#
17/ cluster.name: my-elk-cluster //集群名字
23/ node.name: node1 //####节点名字
33/ path.data: /data/elk_data //数据存放路径
37/ path.logs: /var/log/elasticsearch/ //日志存放路径
43/ bootstrap.memory_lock: false //不在启动的时候锁定内存(前端缓存。与IOPS-性能测试方式,每秒读写次数相关)
55/ network.host: 0.0.0.0 //提供服务绑定的IP地址,0.0.0.0代表所有地址
59/ http.port: 9200 //侦听端口为9200
68/ discovery.zen.ping.unicast.hosts: ["node1", "node2"]
//集群发现通过单播实现“单播”
[root@node1 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
//查看配置结果是否成功
cluster.name: my-application
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
node2:
4.创建数据存放文件路径并授权
[root@node2 opt]# mkdir -p /data/elk_data
[root@node2 opt]# chown elasticsearch:elasticsearch /data/elk_data/
[root@node2 opt]# ll -d /data/elk_data/
drwxr-xr-x. 2 elasticsearch elasticsearch 6 8月 16 21:18 /data/elk_data/
5.启动elasticsearch是否成功开启
[root@node1 opt]# systemctl start elasticsearch.service
[root@node1 opt]# netstat -antp | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 20351/java
6.查看节点信息
查看集群状态
宿主机浏览器输入:http://192.168.220.101:9200/_cluster/state?pretty
查看集群是否健康
宿主机浏览器输入:http://192.168.220.101:9200/_cluster/health?pretty
安装elasticsearch-head插件
node1、node2同步操作
依次安装node-v8.2.1.tar.gz、phantomjs-2.1.1-linux-x86_64.tar.bz2、elasticsearch-head.tar.gz
提前上传node-v8.2.1.tar.gz到opt目录下并安装
安装环境依赖包
[root@node2 opt]# yum install gcc gcc-c++ make -y
编译安装
[root@node1 opt]# tar xzvf node-v8.2.1.tar.gz
[root@node1 node-v8.2.1]# ./configure
[root@node1 node-v8.2.1]# make -j3
[root@node1 node-v8.2.1]# make install
安装phantomjs
前端框架
上传软件包到/usr/local/src/
[root@node1 node-v8.2.1]# cd /usr/local/src/
[root@node1 src]# tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 src]# cd phantomjs-2.1.1-linux-x86_64/bin
[root@node1 bin]# cp phantomjs /usr/local/bin
安装elasticsearch-head
数据可视化工具
提前上传elasticsearch-head.tar.gz 到 /usr/local/src 目录下
[root@node1 src]# tar xzvf elasticsearch-head.tar.gz
[root@node1 src]# cd elasticsearch-head/
[root@node1 elasticsearch-head]# npm install
修改主配置文件
[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
#在末尾添加
http.cors.enabled: true #开启跨域访问支持,默认为false
http.cors.allow-origin: "*" #跨域访问允许的域名地址
[root@node1 elasticsearch-head]# systemctl restart elasticsearch
启动elasticsearch-head
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start & //切换到后台运行
[1] 121619
[root@node1 elasticsearch-head]#
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
[root@node1 ~]# netstat -antp | grep 9100
tcp 0 0 0.0.0.0:9100 0.0.0.0:* LISTEN 121629/grunt
[root@node1 ~]# netstat -antp | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 121527/java
查看 elasticsearch-head 查看可视化工具是否成功应用
在宿主机浏览器输入:http://192.168.220.101:9100/ ,在Elasticsearch 后面的栏目中输入http://192.168.220.101:9200
在node1上创建一个索引、类型、文档
[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}
//修改索引时result:“updata” created:false
刷新浏览器
查看索引信息
部署apache服务器,安装Logstash
[root@httpd ~]# yum -y install httpd
[root@httpd ~]# systemctl start httpd
[root@httpd ~]# java -version
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode
安装logstash
[root@httpd ~]# cd /opt
[root@httpd opt]# rpm -ivh logstash-5.5.1.rpm 安装logstash
[root@httpd opt]# systemctl start logstash.service 启动logstash
[root@httpd opt]# systemctl enable logstash.service 设置开机自启
[root@httpd opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/ 建立logstash软连接
logstash 与 elasticsearch 做对接测试
测试命令:
logstash 选项介绍:
- -f:通过这个选项可以指定logstash的配置文件,根据配置文件配置logstash
- -e:后面跟着字符串 该字符串可以被当做logstash的配置(如果是” ”,则默认使用stdin做为输入、stdout作为输出)
- -t:测试配置文件是否正确,然后退出
输入标准输出
[root@httpd local]# logstash -e 'input { stdin{} } output { stdout{} }'
使用rubydebug显示详细输出
在 192.168.220.103(httpd服务器)终端上输入以下内容
logstash -e ‘input { stdin{} } output { stdout{ codec=>rubydebug } }’ 此命令需要手动输入收集得内容
[root@httpd local]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug} }'
www.baidu.com
{
"@timestamp" => 2021-08-16T15:01:47.138Z,
"@version" => "1",
"host" => "httpd",
"message" => "www.baidu.com"
}
使用logstash将信息写入ES数据库中
[root@httpd local]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.220.101:9200"] } }'
刷新浏览器
在apache上做对接配置,收集系统日志
[root@httpd local]# chmod o+r /var/log/messages
[root@httpd local]# cd /etc/logstash/conf.d/
[root@httpd conf.d]# vim system.conf
[root@httpd conf.d]# vim system.conf
input {
file{
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["192.168.220.101:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
重启logstash服务
systemctl restart logstash.service
宿主机浏览器查看系统日志收集情况
安装kibana
在192.168.220.101(es集群node1节点)安装kibana
[root@node1 ~]# cd /usr/local/src/
[root@node1 src]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@node1 src]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak
[root@node1 kibana]# vim kibana.yml
修改配置文件
[root@node1 src]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak //备份配置文件
[root@node1 kibana]# vim kibana.yml
2 server.port: 5601 //kibana打开的端口
7 server.host: "0.0.0.0" //kibana侦听的地址
21 elasticsearch.url: "http://192.168.226.128:9200"
//和elasticsearch建立联系
30 kibana.index: ".kibana"
//在elasticsearch中添加.kibana索引
[root@node1 kibana]# systemctl start kibana.service //启动kibana
宿主机浏览器访问 http://192.168.220.101:5601 查看是否收集到系统日志