ELK日志分析系统

最新推荐文章于 2022-03-03 11:25:07 发布

爱喝白云拿铁

最新推荐文章于 2022-03-03 11:25:07 发布

阅读量1.1k

点赞数

本文链接：https://blog.csdn.net/jiaoshu__/article/details/119706409

版权

在这里插入图片描述

文章目录

一、ELK日志分析系统概述
二、Elasticsearch简介
- 2.1Elasticsearch概述
- 2.2Elasticsearch的基础核心概念
三、Logstash简介
四、Kibana概述
- 4.1Kibana概述
- 4.2Kibana主要功能
五、部署ELK日志分析系统

一、ELK日志分析系统概述

1.1日志服务器

优点
提高安全性
集中存放日志
缺点
对日志的分析困难

1.2ELK日志分析系统组件

Elasticsearch（索引型数据库）
Logstash（输入、输出工具）
Kibana

1.3ELK组件概述

ES(nosql非关数据库)：存储功能和索引
Logstash(收集日志)：到应用服务器上拿取log,并进行格式转换后输出到es中
通过input功能来收集/采集log
filter过滤器：格式化数据
output输出：日志输出到es数据库内
Kibana(展示工具)：将es内的数据在浏览器展示出来，通过UI界面展示(可以根据自己的需求对日志进行处理，方便查阅读取)

1.4日志处理步骤

将日志进行集中化管理
将日志格式化（Logstash）并输出到Elasticsearch
将格式化后的数据进行索引和存储（Elasticsearch）
前端数据的展示（Kibana）
*

1.5Logstash管理的四种工具

Packetbeat ( 搜集网络流量数据)
Topbeat(搜集系统、进程和文件系统级别的CPU和内存使用情况等数据)
Filebeat (搜集文件数据)，相较于Logstash是轻量级工具
Winlogbeat (搜集Windows事件日志数据)

二、Elasticsearch简介

2.1Elasticsearch概述

Elasticsearch是一个基于Luccnc的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口，Elasticsearch是用于JAVA开发，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
关系型数据库与Elasticsearch对应的关系

2.2Elasticsearch的基础核心概念

接近实时（NRT）
Elasticsearch是一个接近实时的搜索平台，这意外着，从索引一个文档直接到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）
集群（cluster）
集群有一个唯一性标识的名字，默认是Elasticsearch
①一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能，其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能
②集群名字很重要，每个节点是基于集群名字加入到集群中的，因此，确保在不同的环境中使用不同的集群名字
③Elasticsearch具有集群机制，节点通过集群名称加入到集群中，同时在集群中的节点会有一个自己的唯一身份标识（自己的名称）
节点（node）
①节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能，像集群一样，节点也是通过名字来默认是在节点服务器随机分配的字符名，可以自己定义，名字也很重要，在集群中用于识别服务器对应的节点
②节点是可以通过指定集群名字来加入到集群中，默认情况下，每个节点被设置成加入到Elasticsearch集群，如果启动了多个节点，假设能自动发现对方，他们将会自动组件一个名为Elasticsearch的集群
索引(index)
①一个索引就是一个拥有几分相似特征的文档集合，比如，有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据
②一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对应于这个索引、搜索、更新很删除的时候，都要使用这个名字
③在一个集群中，可以定义任意多的索引
类型(type)
在一个索引中，你可以定义一种或多种类型，一个类型是你的索引的一个逻辑上的分类、分区，其语义完全由你来定，通常。会为具有一组共同字段的文档定义一个类型，比如说，假设你运营一个博客平台并且将你所有的数据存储到一个索引中，在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以位评论数据定义另一个类型
文档（document）
①一个文档是一个可被索引的基础信息单元
②文档以KSON格式来表示，而JSON是一个到处存在的互联网数据交互格式
③在一个index/type里面，可以存储任意多的文档
④一个文档在物理上位于一个索引中，实际上一个文档必须在一个索引内被索引和分配一个类型
分片和副本（shards & replicas）
ES作为搜索引擎快的原因：
在实际情况下索引存储的数据可能超过的单个节点的硬件限制，如一个10亿文档需要ITB空间可能不适合存储在单个节点的磁盘或者从单个接地那搜索请求太慢了，为了解决这个问题，Elasticsearch提供将索引分成多个分片的功能，当在创建索引时，可以定义想要分片的数量，每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上
分片的两个最主要的原因：
①水平分割扩展，增大存储量
②分布式并行跨分片操作，提高性能和吞吐量
总之，每个索引可以被分成多个分片。一个索引也可以被复制0次( 意思是没有复制)或多次。一旦复制了，每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和副本的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变副本的数量，但是你事后不能改变分片的数量。

三、Logstash简介

3.1Logstash概述

Logstash由JRuby语言编写，基于消息（message-based），并运行在JAVA虚拟机（JVM）上，不同于分离的代理端（agent）或主机端（server），Logstash可配置单一的代理端（aget）与其他开源软件结合，以实现不同的功能

3.2Logstash的理念

Collect：数据输入
Enrich：数据加工，如果过滤，改写等
Transport：数据输出（被其他模块进行调用）

3.3Logstash的主要组件

Shipper(日志收集者)
负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端(agent)只需要运行这个组件即可;
Indexer(日志存储者)
负责接收日志并写入到本地文件。
Broker(日志Hub)
负责连接多个Shipper和多个Indexer
Search and Storage(搜索和存储器)
允许对事件进行搜索和存储;
Web Interface(web界面端)
基于Web的展示界面

3.4Logstash主机分类

代理主机(agent host)
作为事件的传递着（shipper），将各种日志数据发送至中心主机，只需运行Logstash代理（agent）程序
程序中心主机（central host）
可运行包括中间转发器（Broker）、索引器（indexer）、搜索和存储器（Search and stroage）、web界面端（web interface）在内的各个组件，已实现对日志数据的接收、处理和存储

四、Kibana概述

4.1Kibana概述

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。它操作简单，基于浏览器的用户界面可以快速创建仪表板( dashboard)实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测

4.2Kibana主要功能

Elasticsearch无缝之集成
Kibana架构为Elasticsearch定制，可以将任何结构化和非结构化数据加入Elasticsearch索引；Kibana还充分利用了Elasticsearch强大的搜索和分析功能。
整合你的数据
Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
复杂数据分析
Kibana提升了Elasticsearch分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切割分块。
让更多团队成员受益
强大的数据库可视化接口让各业务岗位都能够从数据集合受益。
接口灵活，分享更容易
使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流。
配置简单
Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器，可以快速启动运行。
可视化多数据源
Kibana可以非常方便地把来自Logstash、 ES-Hadoop、 Beats或第三方技术的数据整合到Elasticsearch，支持的第三方技术包括Apache Flume、 Fluentd等。
简单数据导出
Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，发现新结果。

五、部署ELK日志分析系统

配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点，并监控Apache服务器日志

5.1实验环境

在这里插入图片描述

## 关闭防火墙
systemctl stop firewalld
systemctl disable  firewalld
setenforce 0
## 更改主机名
hostnamectl set-hostname node1
su
## 时间同步
 ntpdate ntp1.aliyun.com

5.2配置elasticsearch环境（node1服务器、node2服务器）

配置映射

vim /etc/hosts
192.168.27.133 node1
192.168.27.134 node2

在这里插入图片描述

[root@node1 yum.repos.d]# java -version  //查看Java环境版本

在这里插入图片描述

上传jdk压缩包至opt目录下
tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cd /usr/local/
mv jdk1.8.0_91 jdk
vim /etc/profile
   export JAVA_HOME=/usr/local/jdk
   export JRE_HOME=${JAVA_HOME}/jreexport        CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
  export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile
java -version

在这里插入图片描述

5.2.1部署elasticsearch软件（node1服务器、node2服务器）

上传elasticsearch软件包至opt目录下

cd /opt
rz -E
elasticsearch-5.5.0.rpm
rpm -ivh elasticsearch-5.5.0.rpm   //安装
systemctl daemon-reload 	##加载守护进程
systemctl enable elasticsearch	##开启服务

在这里插入图片描述

修改elasticsearch配置文件

cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak    //备份
vim elasticsearch.yml                         //修改配置文件
	17 cluster.name: my-elk-cluster		##更改集群名称
	23 node.name: node1		##更改节点名称
	33 path.data: /data/elk_data		##更改数据存放路径，elk_data需要手工创建
	37 path.logs: /var/log/elasticsearch		##日志存放路径
	43 bootstrap.memory_lock: false	##锁定物理内存地址，防止es内存被交换出去，频繁的交换，会导致IOPS变高(性能测试:每秒的读写次数)
	55 network.host: 0.0.0.0		##改成全网段，提供服务绑定的IP地址
	59 http.port: 9200		##侦听端口9200
	68 discovery.zen.ping.unicast.hosts: ["node1", "node2"]  		##更改节点名称，集群发现通过单播实现

grep -v '^#' /etc/elasticsearch/elasticsearch.yml  //过滤出修改的内容

在这里插入图片描述

node2服务器配置和node1服务器配置一致（需要修改的地方node.name: node2）

在这里插入图片描述

创建数据存放路径并授权（node1服务器、node2服务器）

mkdir -p /data/elk_data		##创建数据存放路径
chown elasticsearch:elasticsearch /data/elk_data/		##更改属主属组

启动elasticsearch（node1服务器、node2服务器）

systemctl start elasticsearch		##开启服务
netstat -antp |grep 9200

在这里插入图片描述

查看集群健康和状态，在真机浏览器192.168.27.1上打开

192.168.27.133:9200/_cluster/health?pretty		##检查集群健康状态
192.168.27.133:9200/_cluster/state?pretty		##查看集群状态

在这里插入图片描述

5.2.2安装elasticsearch-head插件

述查看集群的方式，及其不方便，我们可以通过安装elasticsearch-head插件后，来管理集群
在node1、node2服务器上操作

cd /opt
rz -E  //上传node-v8.2.1.tar.gz到/opt
yum -y install gcc gcc-C++ make   //编译安装node组件依赖包，耗时时间较长
cd /opt
tar -xzvf node-v8.2.1.tar.gz
cd node-v8.2.1
./configure
make -j3    //过程需要10-30分钟不定，具体看你电脑的配置)

make install

5.2.3安装phantomjs前端框架

cd /usr/local/src/
rz -E   //   上传软件包到phantomjs-2.1.1-linux-x86_64.tar.bz2/usr/local/src/
tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

5.2.4安装elasticsearch-head数据可视化工具

cd /usr/local/src/
rz -E   //上传软件包elasticsearch-head.tar.gz到/usr/local/src/
tar xzvf elasticsearch-head.tar.gz
cd elasticsearch-head/
yum install gcc gcc-c++ make -y
npm install

在这里插入图片描述

5.2.5修改主配置文件

vim /etc/elasticsearch/elasticsearch.yml
末尾插入
    http.cors.enabled: true    		##开启跨域访问支持，默认为false
	http.cors.allow-origin: "*"		##跨域访问允许的域名地址
systemctl restart elasticsearch
cd /usr/local/src/elasticsearch-head/
npm run start & 启动elasticsearch-head启动服务器；切换到后台运行

在这里插入图片描述

5.2.6真机上打开浏览器输入IP地址

localhost改为node的ip就会显示节点信息状态

http://192.168.27.133:9100/
http://192.168.27.134:9100/

localhost改为node的ip就会显示节点信息状态
如图可以看见索引默认被分片5个并且有一个副本
插入一段索引叫sl，索引类型为test，索引内容用户zs，信息happy

curl -XPUT 'localhost:9200/klj/test/1?pretty&pretty' -H 'conten-TYPE: application/json' -d '{"user":"zs","mesg":"hapyy"}'

在这里插入图片描述

5.3 安装安装logstash

在Apache服务器上安装logstash，logstash做一些日志搜集输出到elasticsearch中

hostnamectl set-hostname apache
systemctl stop firewalld
setenforce 0

5.3.1安装Apache服务（httpd）

[root@apache ~]# yum -y install httpd
[root@apache ~]# systemctl start httpd

5.3.2安装JAVA环境

安装JDK

[root@apache ~]# cd /opt
[root@apache opt]# rz -E   //上传jdk压缩包至opt目录下
[root@apache opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local
[root@apache opt]# cd /usr/local/
[root@apache local]# mv jdk1.8.0_91 jdk
[root@apache local]# vim /etc/profile   //修改环境变量
    export JAVA_HOME=/usr/local/jdk
	export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
	export PATH=${JAVA_HOME}/bin:$PATH
[root@apache local]# source /etc/profile   //刷新
[root@apache local]# java -version         //查看版本

在这里插入图片描述

5.3.3安装Logstash

[root@apache local]# cd /opt
[root@apache opt]# rz -E   //上传logstash-5.5.1.rpm软件包d=到/opt目录下
[root@apache opt]# rpm -ivh logstash-5.5.1.rpm    //安装logstash
[root@apache opt]# systemctl start logstash.service  //启动logstash服务
[root@apache opt]# systemctl enable logstash.service
[root@apache opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin                     //建立logstash软连接

在这里插入图片描述

5.3.4 做对接测试Logstash命令

logstash（Apache）与elasticsearch（node）功能是否正常，做对接测试

Logstash这个命令测试字段描述解释:
-f：通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e：后面跟着字符串该字符串可以被当做logstash的配置(如果是”", 则默认使用stdin做为标准输入、stdout作为标准输出)
-t：测试配置文件是否正确，然后退出

5.3.5输入采用标准输入输出采用标准输出-

logstash  agent（代理）插件
①input
②filter
③output
[root@apache opt]# logstash -e 'input { stdin{} } output { stdout{} }'

在这里插入图片描述

5.3.6 使用rubydebug显示详细输出，codec为一种编解码器

[root@apache opt]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

在这里插入图片描述

5.3.7使用logstash将信息写入elasticsearch中

输入输出对接

[root@apache opt]#  logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.27.133:9200"] } }'   //
输入、输出、对接到elasticsearch的192.168.27.134中

在这里插入图片描述

5.3.8登录192.168.27.1真机，打开浏览器输入http://192.168.27.133:9100/ 查看索引信息

输入对接先不退出，在本机的window访问elasticsearch head插件的数据浏览
可以看出概览多出logstash-2021.06.21
在这里插入图片描述

点击数据浏览查看相应的内容

5.3.9登录192.168.27.133与Apache主机做对接配置

Logstash配置文件主要由三部分组成：input、output、filter

[root@apache opt]#  chmod o+r /var/log/messages   //给其他用户加一个可读权限

在这里插入图片描述

配置文件中定义的是收集系统日志（system）

[root@apache opt]# cd /etc/logstash/conf.d/
[root@apache conf.d]# vim system.conf
   input {
		file{
	  	  path => "/var/log/messages" //收集数据的路径
		 	  type => "system"            //类型
		    start_position => "beginning"    //从开头收集数据
		    }
		}
	output {
		elasticsearch {
		    hosts => ["192.168.27.133:9200"]     //输出到
		    index => "system-%{+YYYY.MM.dd}"    //索引
   		    }
		}
[root@apache conf.d]# systemctl restart logstash.service

在这里插入图片描述

5.4 安装kibana （node1服务器）

[root@node1 elasticsearch-head]# cd /usr/local/src
[root@node1 src]# rz -E   //上传kibana-5.5.1-x86_64.rpm到/usr/local/src目录
[root@node1 src]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@node1 src]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak
[root@node1 kibana]# vim kibana.yml
        2 server.port: 5601       //kibana打开的端口
        7 server.host: "0.0.0.0"  //kibana侦听的地址
        21 elasticsearch.url: "http://192.168.27.133:9200"  //和elasticsearch建立联系
        30 kibana.index: ".kibana"  //在elasticsearch中添加. kibana索引
[root@node1 kibana]# systemctl start kibana.service

在这里插入图片描述

访问http://192.168.27.133:5601/端口5601

在这里插入图片描述

在这里插入图片描述
* 若是discover发现不了数据可以切换360浏览器

5.4.1对接apache的日志(访问的、错误)

[root@apache conf.d]# cd /etc/logstash/conf.d/
[root@apache conf.d]# touch apache_log.conf
[root@apache conf.d]#  vi apache_log.conf
 input {
	file{
	    path => "/etc/httpd/logs/access_log"
	    type => "access"
	    start_position => "beginning"
	    }
	file{
	    path => "/etc/httpd/logs/error_log"
	    type => "error"
	    start_position => "beginning"
	    }
	}
output {
	if [type] == "access" {
	elasticsearch {
            hosts => ["192.168.27.133:9200"]
	    index => "apache_access-%{+YYYY.MM.dd}"
   	    }
	}
	if [type] == "error" {
	elasticsearch {
            hosts => ["192.168.27.133:9200"]
	    index => "apache_error-%{+YYYY.MM.dd}"
   	    }
	}
	}
[root@apache conf.d]# logstash -f apache_log.conf  //指定使用apache_log.conf的配置文件

在这里插入图片描述

进入kibana进入创建Apache索引apache_acess和apache_error
首页Management–Index Patterns–Create Index Pattern–选择inde name or pattern

5.4.2索引

查看kibana均可以查询到Apache_access-、Apache_error-、system-*

爱喝白云拿铁

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
ELK日志分析系统

文章目录一、ELK日志分析系统概述1.1日志服务器1.2ELK日志分析系统组件1.3ELK组件概述1.4日志处理步骤1.5Logstash管理的四种工具一、ELK日志分析系统概述1.1日志服务器优点提高安全性集中存放日志缺点对日志的分析困难1.2ELK日志分析系统组件Elasticsearch（索引型数据库）Logstash（输入、输出工具）Kibana1.3ELK组件概述ES(nosql非关数据库)：存储功能和索引Logstash(收集日志)：到应用服务器上拿取l
复制链接

扫一扫