ELK日志分析系统

最新推荐文章于 2023-06-13 18:02:46 发布

yangzhou__

最新推荐文章于 2023-06-13 18:02:46 发布

阅读量7.6k

点赞数 5

分类专栏：数据库应用文章标签： redis 数据库 nosql

本文链接：https://blog.csdn.net/yangzhou__/article/details/121441030

版权

数据库应用专栏收录该内容

12 篇文章 1 订阅

订阅专栏

1.ELK日志分析

1.1日志服务器的优缺点

优点
提高安全性
集中存放日志
缺点
对日志的分析困难

2.ELK是什么？

日志简化分析的管理工具，由Elasticsearch(ES)、Logstash、Kibana三个开源工具组成，官方网站: https://www.elastic.co/products

ES(nosql非关数据库)：存储功能和索引
Logstash(收集日志)：到应用服务器上拿取log,并进行格式转换后输出到es中
通过input功能来收集/采集log
filter过滤器：格式化数据
output输出：日志输出到es数据库内
Kibana(展示工具)：将es内的数据在浏览器展示出来，通过UI界面展示(可以根据自己的需求对日志进行处理，方便查阅读取)

2.1、Logstash管理包含四种工具

Packetbeat ( 搜集网络流量数据)
Topbeat(搜集系统、进程和文件系统级别的CPU和内存使用情况等数据)
Filebeat (搜集文件数据)，相较于Logstash是轻量级工具
Winlogbeat (搜集Windows事件日志数据)

2.2、日志处理步骤

Logstash收集AppServer产生的Log,并将log进行集中化管理
将日志格式化(Logstash) 并存放到ElasticSearch集群中
对格式化后的数据进行索引|和存储( Elasticsearch)
Kibana则从Es集群中查询数据生成图表，再返回给browsers

3.Elasticsearch的基础核心概念

关系型数据库与Elasticsearch对应的关系


mysql	                   Elasticsearch
database数据库	           index索引
table表                    type类型
row行	                   document文档
column列	               属性

1.接近实时(NRT)
elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)

2.集群(cluster)
集群有一个唯一性标示的名字，默认是elasticsearch；
集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能；
其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能；
集群名字很重要，每个节点是基于集群名字加入到其集群中的

3.节点(node)
节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能；
像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名，可以自己定义；
名字在集群中用于识别服务器对应的节点。

4.索引(index)
一个索引就是一个拥有几分相似特征的文档的集合；
一个索引由一个名字来标识(必须全部是小写字母的)，并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。

5.类型(type)
在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区；通常，会为具有一组共同字段的文档定义一个类型

6.文档( document )
文档以JSON ( Javascript object Notation)格式来表示，而JSON是一个到处存在的互联网数据交互格式。
虽然一个文档在物理上位于一个索引中，实际上一个文档必须在一个索引内被索引和分配一个类型。

7.分片shards
即es作为搜索引擎快的原因：
在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为了解决这个问题，elasticsearch提供将索引分成多个分片的功能。当在创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。
分片的好处：
①：水平分割扩展，增大存储量
②：分布式并行跨分片操作，提高性能和吞吐量

8.副本replicas
为了防止网络问题等其它问题造成数据丢失，需要有一个故障切换机制，为此，elasticsearch让我们将索引分片复制一份或多份，称之为分片副本或副本。
副本也有两个最主要原因:
①：高可用性，以应对分片或者节点故障，需要在不同的节点上
②：提高性能，增大吞吐量，搜索可以并行在所有副本上执行

总之，每个索引可以被分成多个分片。一个索引也可以被复制0次( 意思是没有复制)或多次。一旦复制了，每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和副本的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变副本的数量，但是你事后不能改变分片的数量。

4.Logstash介绍

Logstash由JRuby语言编写，基于消息(message-based) 的简单架构，并运行在Java虚拟机(JVM)上。LogStash可配置单一的代理端(agent) 与其它开源软件结合，以实现不同的功能。
Logstash的理念很简单，它只做3件事情:Collect:数据输入、Enrich:数据加工，1如过滤，改等、Transport:数据输出( 被其他模块进行调用)
1.logStash的主要组件
①：Shipper(日志收集者)：负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端(agent)只需要运行这个组件即可;
②：Indexer(日志存储者)：负责接收日志并写入到本地文件。
③：Broker(日志Hub)：负责连接多个Shipper和多个Indexer
④：Search and Storage(搜索和存储器)：允许对事件进行搜索和存储;
⑥：Web Interface(web界面端):基于Web的展示界面
2. LogStash主机分类
①：代理主机(agent host) :作为事件的传递者(shipper)，将各种日志数据发送至中心主机;只需运行Logstash代理( agent)
②：程序中心主机(central host) ：可运行包括中间转发器(Broker) 、索引器(Indexer) 、搜索和存储器( Search and
Storage )、web界面端(web Interface)在内的各个组件，以实现对日志数据的接收、处理和存储

5.Kibana介绍

1.简介
Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。它操作简单，基于浏览器的用户界面可以快速创建仪表板( dashboard)实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。

2.主要功能
①：Elasticsearch无缝之集成：Kibana架构为Elasticsearch定制，可以将任何结构化和非结构化数据加入Elasticsearch索引；Kibana还充分利用了Elasticsearch强大的搜索和分析功能。
②：整合你的数据：Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
③：复杂数据分析：Kibana提升了Elasticsearch分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切割分块。
④：让更多团队成员受益：强大的数据库可视化接口让各业务岗位都能够从数据集合受益。
⑤：接口灵活，分享更容易：使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流。
⑥：配置简单：Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器，可以快速启动运行。
⑦：可视化多数据源：Kibana可以非常方便地把来自Logstash、 ES-Hadoop、 Beats或第三方技术的数据整合到Elasticsearch，支持的第三方技术包括Apache Flume、 Fluentd等。
⑧：简单数据导出：Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，发现新结果。

6.配置ELK日志分析系统

配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点，并监控apache服务器日志

主机	操作系统	主机名 IP地址	主要软件
服务器	Centos7.4	node1	192.168.226.128
服务器	Centos7.4	node2	192.168.226.129
服务器	Centos7.4	apache	192.168.226.130

6.1.安装elasticsearch集群

6.1.1配置elasticsearch环境

更改主机名配置域名解析查看Java环境
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname apache
vim /etc/hosts
192.168.35.40 node1
192.168.35.10 node2
上传jdk压缩包至opt目录下
tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cd /usr/local/
mv jdk1.8.0_91 jdk
vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
java -version

6.1.2部署elasticsearch软件

上传elasticsearch软件包至opt目录下

rpm -ivh elasticsearch-5.5.0.rpm
systemctl daemon-reload 	##加载系统服务
systemctl enable elasticsearch	##开启服务

修改elasticsearch配置文件

cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak
vim elasticsearch.yml
	17 cluster.name: my-elk-cluster		##更改集群名称
	23 node.name: node1		##更改节点名称
	33 path.data: /data/elk_data		##更改数据存放路径，elk_data需要手工创建
	37 path.logs: /var/log/elasticsearch		##更改日子文件目录
	43 bootstrap.memory_lock: false	##锁定物理内存地址，防止es内存被交换出去，频繁的交换，会导致IOPS变高(性能测试:每秒的读写次数)
	55 network.host: 0.0.0.0		##改成全网段
	59 http.port: 9200		##开启端口
	68 discovery.zen.ping.unicast.hosts: ["node1", "node2"]  		##更改节点名称
grep -v '^#' /etc/elasticsearch/elasticsearch.yml

mkdir -p /data/elk_data		##创建数据存放路径
chown elasticsearch:elasticsearch /data/elk_data/		##更改属主属组
systemctl start elasticsearch		##开启服务

在这里插入图片描述

在真机浏览器上打开

192.168.226.128:9200/_cluster/health?pretty		##检查集群健康状态
192.168.226.129:9200/_cluster/state?pretty		##查看集群状态

6.1.3安装elasticsearch-head插件

上述查看集群的方式，及其不方便，我们可以通过安装elasticsearch-head插件后，来管理集群
登录192.168.226.128node1主机

上传node-v8.2.1.tar .gz到/opt 
yum -y install gcc gcc-C++ make 
编译安装node组件依赖包  耗时比较长47分钟
cd /opt
tar -xzvf node-v8.2.1.tar.gz
cd node-v8.2.1
./configure
make -j3		(此过程需要10-30分钟不定，具体看你电脑的配置)
make install

6.1.4安装phantomjs前端框架

上传软件包到/usr/local/src/
cd /usr/local/src/
tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin 
cp phantomjs /usr/local/bin

6.1.5安装elasticsearch-head数据可视化工具

cd /usr/local/src/
tar xzvf elasticsearch-head.tar.gz
cd elasticsearch-head/
npm install

在这里插入图片描述

node2服务器同样的配置
在这里插入图片描述

vim /etc/elasticsearch/elasticsearch.yml		##修改主配置文件
配置文件末尾插入一下两行
	http.cors.enabled: true    		##开启跨域访问支持，默认为false
	http.cors.allow-origin: "*"		##跨域访问允许的域名地址
systemctl restart elasticsearch
cd /usr/local/src/elasticsearch-head/
npm run start &启动elasticsearch-head启动服务器；切换到后台运行

本机windows查看192.168.226.128:9100和192.168.226.129:9100
localhost改为node的ip就会显示节点信息状态
在这里插入图片描述

curl -XPUT 'localhost:9200/klj/test/1?pretty&pretty' -H 'conten-TYPE: application/json' -d '{"user":"zs","mesg":"hapyy"}'		##插入一段索引叫klj，索引类型为test，索引内容用户zs，信息happy

在这里插入图片描述

6.2安装logstash

登录192.168.35.10 在Apache服务器上；logstash做一些日志搜集输出到elasticsearch中

6.2.1更改主机名，关闭防火墙、核心防护

hostnamectl set-hostname logstash
setenforce 0
systemctl stop firewalld

6.2.2安装apache服务和jdk环境

yum -y install httpd
systemctl start httpd
上传jdk压缩包至opt目录下
tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cd /usr/local/
mv jdk1.8.0_91 jdk
vim /etc/profile
	export JAVA_HOME=/usr/local/jdk
	export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
	export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
java -version

6.2.3安装logstash

安装包上传至opt目录下

cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service 
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

6.2.4对接测试logstash (Apache)与elasticsearch (node) 功能是否正常

Logstash这个命令测试字段描述解释:
-f：通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e：后面跟着字符串该字符串可以被当做logstash的配置(如果是”", 则默认使用stdin做为标准输入、stdout作为标准输出)
-t：测试配置文件是否正确，然后退出

6.2.5采用标准输入/输出

logstash agent(代理)的插件
①input
②filter
③output
logstash -e 'input { stdin{} } output { stdout{} }'

在这里插入图片描述

6.2.6使用rubydebug显示详细输出，codec为一种编解码器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug} }'

6.2.7使用logstash将信息写入elasticsearch中，并查看

logstash -e 'input { stdin{} } output { elasticsearch { hosts=> ["192.168.35.40:9200"] } }'	##输入输出对接

输入对接先不退出，在本机的window访问elasticsearch head插件的数据浏览
可以看出概览多出logstash-2021.8.14
在这里插入图片描述
点击数据浏览查看相应的内容

但是手动输入上千条数据不现实，需要使用平台收集日志

chmod o+r /var/log/messages		##给其他用户加一个可读权限
vim /etc/logstash/conf.d/system.conf		##配置文件(收集系统日志)
	input {
		file{
	  	  path => "/var/log/messages" //收集数据的路径
		 	  type => "system"            //类型
		    start_position => "beginning"    //从开头收集数据
		    }
		}
	output {
		elasticsearch {
		    hosts => ["192.168.35.40:9200"]     //输出到
		    index => "system-%{+YYYY.MM.dd}"    //索引
   		    }
		}
systemctl restart logstash.service		##重启服务

在这里插入图片描述

6.3node1主机上安装kibana

上传kibana-5.5.1-x86_64.rpm到/usr/local/src目录
cd /usr/local/src
rpm -ivh kibana-5.5.1-x86_64.rpm
cd /etc/kibana/
cp kibana.yml kibana.yml.bak
vim kibana.yml
	 2 server.port: 5601		##kibana打开的端口
	 7 server.host: "0.0.0.0“		##kibana侦听的地址
	21 elasticsearch.url: "http://192.168.35.40:9200"		##和elasticsearch建立联系
	30 kibana.index: ".kibana"		##在elasticsearch中添加. kibana索引
systemctl start kibana.service		##启动kibana服务
访问5601端口：http://192.168.35.40:5601/

在这里插入图片描述

6.3.1对接apache的日志(访问的、错误)

cd /etc/logstash/conf.d/
vim apache_log.conf
input {
	file{
	    path => "/etc/httpd/logs/access_log"
	    type => "access"
	    start_position => "beginning"
	    }
	file{
	    path => "/etc/httpd/logs/error_log"
	    type => "error"
	    start_position => "beginning"
	    }
	}
output {
	if [type] == "access" {
	elasticsearch {
            hosts => ["192.168.35.40:9200"]
	    index => "apache_access-%{+YYYY.MM.dd}"
   	    }
	}
	if [type] == "error" {
	elasticsearch {
            hosts => ["192.168.35.40:9200"]
	    index => "apache_error-%{+YYYY.MM.dd}"
   	    }
	}
	}
logstash -f apache_log.conf		##指定使用apache_log.conf的配置文件

6.3.2验证索引

这时查看kibana均可以查询到Apache_access-、Apache_error-、system-*
在这里插入图片描述
六、总结
1.ELK ——》是一套日.志收集的工具
2.由 es索引数据库-logstash日志收集、过滤、输出功能组成（在ELK架构中的功能） kibana 〈可视化展示+图形化展示+过滤筛选)
3.elk—》了解ELK的架构—》1ogstash(采集、处理、输出工具）的选择（o logstash功能拆分-filebeat o logstash放在哪进行收集)

yangzhou__

关注

5
点赞
踩
20

收藏

觉得还不错? 一键收藏
0
评论
ELK日志分析系统

目录1.ELK日志分析1.1日志服务器的优缺点2.ELK是什么？2.1、Logstash管理包含四种工具2.2、日志处理步骤3.Elasticsearch的基础核心概念4.Logstash介绍5.Kibana介绍6.配置ELK日志分析系统6.1.安装elasticsearch集群6.1.1配置elasticsearch环境6.1.2部署elasticsearch软件6.1.3安装elasticsearch-head插件6.1.4安装phantomjs前端框架6.1.5安装elasticsearch-head
复制链接

扫一扫