ELK日志分析系统

1、Logstash收集AppServer产生的Log,并将log进行集中化管理
2、将日志格式化(Logstash) 并存放到ElasticSearch集群中
3、对格式化后的数据进行索引|和存储( Elasticsearch)
4、Kibana则从Es集群中查询数据生成图表，再返回给browsers

二、Elasticsearch的基础核心概念

关系型数据库与Elasticsearch对应的关系

mysql Elasticsearch
database数据库 index索引
table表 type类型
row行 document文档
column列属性

mysql	Elasticsearch
database数据库	index索引
table表	type类型
row行	document文档
column列	属性

接近实时(NRT)
elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)
集群(cluster)
集群有一个唯一性标示的名字，默认是elasticsearch；
集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能；
其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能；
集群名字很重要，每个节点是基于集群名字加入到其集群中的
节点(node)
节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能；
像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名，可以自己定义；
名字在集群中用于识别服务器对应的节点。
索引(index)
一个索引就是一个拥有几分相似特征的文档的集合；
一个索引由一个名字来标识(必须全部是小写字母的)，并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。
类型(type)
在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区；通常，会为具有一组共同字段的文档定义一个类型
文档( document )
文档以JSON ( Javascript object Notation)格式来表示，而JSON是一个到处存在的互联网数据交互格式。
虽然一个文档在物理上位于一个索引中，实际上一个文档必须在一个索引内被索引和分配一个类型。
分片shards
即es作为搜索引擎快的原因：
在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为了解决这个问题，elasticsearch提供将索引分成多个分片的功能。当在创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。
分片的好处：
①：水平分割扩展，增大存储量
②：分布式并行跨分片操作，提高性能和吞吐量
副本replicas
为了防止网络问题等其它问题造成数据丢失，需要有一个故障切换机制，为此，elasticsearch让我们将索引分片复制一份或多份，称之为分片副本或副本。
副本也有两个最主要原因:
①：高可用性，以应对分片或者节点故障，需要在不同的节点上
②：提高性能，增大吞吐量，搜索可以并行在所有副本上执

三、Logstash介绍

Logstash由JRuby语言编写，基于消息(message-based) 的简单架构，并运行在Java虚拟机(JVM)上。LogStash可配置单一的代理端(agent) 与其它开源软件结合，以实现不同的功能。
Logstash的理念很简单，它只做3件事情:Collect:数据输入、Enrich:数据加工，1如过滤，改等、Transport:数据输出( 被其他模块进行调用)

四、Kibana介绍

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。它操作简单，基于浏览器的用户界面可以快速创建仪表板( dashboard)实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。

五、配置ELK日志分析系统

环境准备

主机操作系统主机名 IP地址主要软件
服务器 Centos7.4 node1 192. 168.35.40
服务器 Centos7.4 node2 192.168.35.10
服务器 Centos7.4 apache 192.168.35.20

主机	操作系统	主机名 IP地址	主要软件
服务器	Centos7.4	node1	192. 168.35.40
服务器	Centos7.4	node2	192.168.35.10
服务器	Centos7.4	apache	192.168.35.20

1、安装elasticsearch集群

1.1、配置elasticsearch环境

更改主机名配置域名解析查看Java环境
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname apache
vim /etc/hosts
192.168.35.40 node1
192.168.35.10 node2
上传jdk压缩包至opt目录下
tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cd /usr/local/
mv jdk1.8.0_91 jdk
vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
java -version

在这里插入图片描述

1.2、部署elasticsearch软件

上传elasticsearch软件包至opt目录下

rpm -ivh elasticsearch-5.5.0.rpm
systemctl daemon-reload 	##加载系统服务
systemctl enable elasticsearch	##开启服务

修改elasticsearch配置文件

cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak
vim elasticsearch.yml
	17 cluster.name: my-elk-cluster		##更改集群名称
	23 node.name: node1		##更改节点名称
	33 path.data: /data/elk_data		##更改数据存放路径，elk_data需要手工创建
	37 path.logs: /var/log/elasticsearch		##更改日子文件目录
	43 bootstrap.memory_lock: false	##锁定物理内存地址，防止es内存被交换出去，频繁的交换，会导致IOPS变高(性能测试:每秒的读写次数)
	55 network.host: 0.0.0.0		##改成全网段
	59 http.port: 9200		##开启端口
	68 discovery.zen.ping.unicast.hosts: ["node1", "node2"]  		##更改节点名称
grep -v '^#' /etc/elasticsearch/elasticsearch.yml

mkdir -p /data/elk_data		##创建数据存放路径
chown elasticsearch:elasticsearch /data/elk_data/		##更改属主属组
systemctl start elasticsearch		##开启服务

node2服务器同样的配置

在真机浏览器192.168.56.1打开

192.168.35.40:9200/_cluster/health?pretty		##检查集群健康状态
192.168.35.40:9200/_cluster/state?pretty		##查看集群状态

1.3、安装elasticsearch-head插件

上述查看集群的方式，及其不方便，我们可以通过安装elasticsearch-head插件后，来管理集群
登录192.168.35.40 node1主机

上传node-v8.2.1.tar .gz到/opt 
yum -y install gcc gcc-C++ make 
编译安装node组件依赖包  耗时比较长47分钟
cd /opt
tar -xzvf node-v8.2.1.tar.gz
cd node-v8.2.1
./configure
make -j3		(此过程需要10-30分钟不定，具体看你电脑的配置)
make install

1.4、安装phantomjs前端框架

上传软件包到/usr/local/src/
cd /usr/local/src/
tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin 
cp phantomjs /usr/local/bin

1.5、安装elasticsearch-head数据可视化工具

cd /usr/local/src/
tar xzvf elasticsearch-head.tar.gz
cd elasticsearch-head/
npm install

vim /etc/elasticsearch/elasticsearch.yml		##修改主配置文件
配置文件末尾插入一下两行
	http.cors.enabled: true    		##开启跨域访问支持，默认为false
	http.cors.allow-origin: "*"		##跨域访问允许的域名地址
systemctl restart elasticsearch
cd /usr/local/src/elasticsearch-head/
npm run start &启动elasticsearch-head启动服务器；切换到后台运行

本机windows查看192.168.35.40:9100和192.168.35.10:9100
localhost改为node的ip就会显示节点信息状态

下图可以看见索引默认被分片5个并且有一个副本

curl -XPUT 'localhost:9200/klj/test/1?pretty&pretty' -H 'conten-TYPE: application/json' -d '{"user":"zs","mesg":"hapyy"}'		##插入一段索引叫klj，索引类型为test，索引内容用户zs，信息happy

2、安装logstash

2.2、安装apache服务和jdk环境

yum -y install httpd
systemctl start httpd
上传jdk压缩包至opt目录下
tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cd /usr/local/
mv jdk1.8.0_91 jdk
vim /etc/profile
	export JAVA_HOME=/usr/local/jdk
	export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
	export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
java -version

2.3、安装logstash

安装包上传至opt目录下

cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service 
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

2.4、对接测试logstash

Logstash这个命令测试字段描述解释:
-f：通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e：后面跟着字符串该字符串可以被当做logstash的配置(如果是”", 则默认使用stdin做为标准输入、stdout作为标准输出)
-t：测试配置文件是否正确，然后退出

2.5、采用标准输入/输出

logstash agent(代理)的插件
①input
②filter
③output
logstash -e 'input { stdin{} } output { stdout{} }'

输入对接先不退出，在本机的window访问elasticsearch head插件的数据浏览
可以看出概览多出logstash-2021.8.14

3、node1主机上安装kibana

上传kibana-5.5.1-x86_64.rpm到/usr/local/src目录
cd /usr/local/src
rpm -ivh kibana-5.5.1-x86_64.rpm
cd /etc/kibana/
cp kibana.yml kibana.yml.bak
vim kibana.yml
	 2 server.port: 5601		##kibana打开的端口
	 7 server.host: "0.0.0.0“		##kibana侦听的地址
	21 elasticsearch.url: "http://192.168.35.40:9200"		##和elasticsearch建立联系
	30 kibana.index: ".kibana"		##在elasticsearch中添加. kibana索引
systemctl start kibana.service		##启动kibana服务
访问5601端口：http://192.168.35.40:5601/

3.1、对接apache的日志(访问的、错误)

cd /etc/logstash/conf.d/
vim apache_log.conf
input {
	file{
	    path => "/etc/httpd/logs/access_log"
	    type => "access"
	    start_position => "beginning"
	    }
	file{
	    path => "/etc/httpd/logs/error_log"
	    type => "error"
	    start_position => "beginning"
	    }
	}
output {
	if [type] == "access" {
	elasticsearch {
            hosts => ["192.168.35.40:9200"]
	    index => "apache_access-%{+YYYY.MM.dd}"
   	    }
	}
	if [type] == "error" {
	elasticsearch {
            hosts => ["192.168.35.40:9200"]
	    index => "apache_error-%{+YYYY.MM.dd}"
   	    }
	}
	}
logstash -f apache_log.conf		##指定使用apache_log.conf的配置文件

进入kibana进入创建Apache索引appche_acess和apache_error
首页Management–Index Patterns–Create Index Pattern–选择inde name or pattern

这时查看kibana均可以查询到Apache_access-、Apache_error-、system-*

六、总结

本章讲解了elk(日志简化分析的管理工具)是由ElasticSearch、 Logstash和Kiabana三个开源工具组成的;分别的功能如下：

ES(nosql非关数据库)：存储功能和索引
Logstash(收集日志)：到应用服务器上拿取log,并进行格式转换后输出到es中

通过input功能来收集/采集log
filter过滤器：格式化数据
output输出：日志输出到es数据库内

Kibana(展示工具)：将es内的数据在浏览器展示出来，通过UI界面展示(可以根据自己的需求对日志进行处理，方便查阅读取)

FANG7727

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
ELK日志分析系统

目录一、ELK日志分析系统简介1、日志服务器的优缺点2、ELK是什么？2.1、Logstash管理包含四种工具2.2、日志处理步骤二、Elasticsearch的基础核心概念三、Logstash介绍四、Kibana介绍五、配置ELK日志分析系统1、安装elasticsearch集群1.1、配置elasticsearch环境1.2、部署elasticsearch软件1.3、安装elasticsearch-head插件1.4、安装phantomjs前端..
复制链接

扫一扫