ELK理论与部署

最新推荐文章于 2024-07-10 14:09:03 发布

吴小白呢

最新推荐文章于 2024-07-10 14:09:03 发布

阅读量181

点赞数

分类专栏： Linux 文章标签： centos linux

本文链接：https://blog.csdn.net/xiaobai316/article/details/121485571

版权

Linux 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

ELK日志分析系统简介

ELK日志分析系统是Logstash、Elastcsearch、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示

ELK日志分析系统组成

elasticsearch (es) :通过搭建群集;存储日志数据，索引日志数据
logstash :收集日志，收集到了后给es存储
kibana :视图形式展现日志信息，更加人性化

日志处理步骤

将日志进行集中化管理
将日志格式化(Logstash)并输出到Elasticsearch
对格式化后的数据进行索引和存储(Elasticsearch)
前端数据的展示(Kibana)

三款软件简介

Elasticsearch

Elasticsearch的概述

提供了一个分布式多用户能力的全文搜索引擎

Elasticsearch核心概念

(1)接近实时(NRT)

elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒)

集群(cluster)

一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是elasticsearch，集群名字很重要，每个节点是基于集群名字加入到其集群中的。因此，确保在不同环境中使用不同的集群名字。
—个集群可以只有一个节点。强烈建议在配置elasticsearch时，配置成集群模式。
es具有集群机制，节点通过集群名称加入到集群中，同时在集群中的节点会有一个自己的唯一身份标识（自己的名称)

节点(node)

节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。当然，你可以自己定义。该名字也很重要，在集群中用于识别服务器对应的节点。
节点可以通过指定集群名字来加入到集群中。默认情况，每个节点被设置成加入到elasticsearch集群。如果启动了多个节点，假设能自动发现对方，他们将会自动组建一个名为elasticsearch的集群。

索引 (type)

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类!分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。

类型相对于关系型数据库的表 ——》索引(库)-》类型(表)-》文档(记录)

文档（document)

一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以SON
(Javascript Object Notation）)格式来表示,而JSON是一个到处存在的互联网数据交互格式。
在一个index/type里面，只要你想，你可以存储任意多的文档。注意，虽然一个文档在物理上位于一个索引中，实际上一个文档必须在一个索引内被索引和分配一个类型。
文档相对于关系型数据库的列。

分片和副本(shards & replicas)

在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上或者从单个节点搜索请求太慢了。为了解决这个问题，elasticsearch提供将索引分成多个分片的功能。当在创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。
分片的两个最主要原因

a.水平分割扩展，增大存储量

b.分布式并行跨分片操作，提高性能和吞吐量

分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的，这些对用户而言是透明的。

网络问题等等其它问题可以在任何时候不期而至，为了健壮性，强烈建议要有一个故障切换机制，无论何种故障以防止分片或者节点不可用。为此,elasticsearch让我们将索引分片复制一份或多份,称之为分片副本或副本。

副本也有两个最主要原因

a.高可用性，以应对分片或者节点故障。出于这个原因，分片副本要在不同的节点上。

b.×××能,增大吞吐量,搜索可以并行在所有副本上执行。

Logstash

Logstash介绍

—款强大的数据处理工具
可实现数据传输、格式处理、格式化输出
数据输入(从业务输入)、数据加工(如过滤、改写等）以及数据输出（输出到Elasticsearch群集)
（2）Logstash的主要组件
shipper：日志收集者，负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端(agent)只需要运行这个组件即可
indexer：日志存储者，负责接收日志并写入到本地文件
broker：日志hub，负责连接多个shipper和多个indexer
search and storage：允许对事件进行搜索和存储
web interface：基于wWeb的展示界面

Kibana

Kibana介绍

一个针对Elasticsearch的开源分析及可视化平台
搜索、查看存储在Elasticsearch索引中的数据
通过各种图表进行高级数据分析及展示

Kibana主要功能

Elasticsearch无缝之集成
整合数据，复杂数据分析
让更多团队成员受益
接口灵活，分享更容易
配置简单，可视化多数据源
简单数据导出

部署

环境
通过filebeat监控tomcat日志，提交给es，并由kibana可视化分析
tomcat 192.168.3.12 filebeat
node1 192.168.3.13 es kibana
node2 192.168.3.14 es
在这里插入图片描述

配置tomcat服务器

安装 JDK ，配置 JAVA 环境
关闭防火墙

systemctl stop firewalld.service 
systemctl disable firewalld.service 
setenforce 0

准备好安装包，上传到 /opt/ 目录

[root@tomcat ~]#cd /opt/
[root@tomcat /opt]#ls
apache-tomcat-9.0.16.tar.gz  jdk-8u201-linux-x64.rpm  rh

安装 JDK ，并设置 JDK 的环境变量

[root@tomcat /opt]#rpm -ivh jdk-8u201-linux-x64.rpm 

[root@tomcat /opt]#vim /etc/profile.d/java.sh				#/etc/profile.d/环境变量脚本目录	
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar		#可执行文件的位置
export PATH=$JAVA_HOME/bin:$PATH

[root@tomcat /opt]#source /etc/profile.d/java.sh           #将脚本导入到环境变量中，使其生效
[root@tomcat /opt]#java -version						   #查看版本
java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)

CLASSPATH：编译、运行Java程序时（tomcat），JRE 会去该变量指定的路径中搜索所需的类( .class)文件。
dt.jar：是关于运行环境的类库，主要是swing 的包。
tools.jar：主要是一些 jdk 工具的类库，包括 javac， java，javap， javadoc等。
JDK：java development kit ( java开发工具)
JRE：java runtime environment ( java运行时环境)
JVM：java virtuak machine (java虚拟机) ，使 java程序可以在多种平台上运行class文件

这里可以写个 JAVA 小程序来测试是否可以正常工作

[root@tomcat /opt]#vim a.java
public class a {
public static void main (String[] args) {
System.out.println("嘿嘿嘿");
}
}

[root@tomcat /opt]#javac a.java                           #执行，编译成功后生成可执行文件 
[root@tomcat /opt]#java a                                 #输出成功
嘿嘿嘿

安装配置 Tomcat

在安装 Tomcat 之前必须先安装 JDK，因为 JDK 是 java 语言的软件包开发工具，其中包含了JVM（java 虚拟机），编写好的 java 源程序经过编译可形成 java 字节码，只要安装了 JDK ，就可用 JVM 解释这些字节码文件，从而保证了 java 的跨平台性

解压 apache-tomcat-9.0.16.tar.gz 包

[root@tomcat /opt]#tar zxvf apache-tomcat-9.0.16.tar.gz					  #解包
[root@tomcat /opt]#mv apache-tomcat-9.0.16 /usr/local/tomcat     		  #转移包位置并改名

Tomcat 配置说明
查看 /usr/local/ 目录（Tomcat 的主目录）

[root@tomcat /usr/local/tomcat]#ll /usr/local/tomcat
总用量 124
drwxr-x--- 2 root root  4096 11月 14 00:28 bin
-rw-r----- 1 root root 19203 3月   5 2019 BUILDING.txt
drwx------ 3 root root   254 11月 14 16:31 conf
-rw-r----- 1 root root  6095 3月   5 2019 CONTRIBUTING.md
drwxr-x--- 2 root root  4096 11月 14 00:28 lib
-rw-r----- 1 root root 57092 3月   5 2019 LICENSE
drwxr-x--- 2 root root   197 11月 14 00:30 logs
-rw-r----- 1 root root  2333 3月   5 2019 NOTICE
-rw-r----- 1 root root  3255 3月   5 2019 README.md
-rw-r----- 1 root root  6854 3月   5 2019 RELEASE-NOTES
-rw-r----- 1 root root 16262 3月   5 2019 RUNNING.txt
drwxr-x--- 2 root root    30 11月 14 00:28 temp
drwxr-x--- 7 root root    81 3月   5 2019 webapps
drwxr-x--- 3 root root    22 11月 14 00:30 work

主目录详细说明如下
在这里插入图片描述
启动 Tomcat
创建软连接，优化开启命令，便于管理

[root@tomcat]#ln -s /usr/local/tomcat/bin/startup.sh /usr/local/bin/		
[root@tomcat]#ln -s /usr/local/tomcat/bin/shutdown.sh /usr/local/bin/

开启服务

[root@tomcat]#startup.sh
[root@tomcat]#netstat -natp | grep  8080
tcp6       0      0 :::8080                 :::*                    LISTEN      4922/java

打开浏览器访问 Tomcat 的主页 http://192.168.3.11:8080
在这里插入图片描述
优化 Tomcat 启动速度
在生产环境中第一次启动 tomcat 可能会发现 tomcat 启动很慢，默认情况下可能需要几十秒，此时可以修改 jdk 参数进行优化。

vim /usr/java/jdk1.8.0_201-amd64/jre/lib/security/java.security
#117 进行修改
securerandom.source=file:/dev/urandom	
#/dev/random 和/dev/urandom 都是伪终端，但是/dev/urandom(随机值)提供的数据流更快
#因为默认系统会有很多外界因素的影响，造成随机性并不是很好，使用urandom优化可以提供更好的数据流

#重启tomcat
/usr/local/tomcat/bin/shutdown.sh			
/usr/local/tomcat/bin/startup. sh

配置 Elasticsearch 环境

#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

hostnamectl set-hostname node1		//c7-2修改主机名
hostnamectl set-hostname node2		//c7-3修改主机名

----------以下操作，node1、node2 相同------------------------------------------------------------------------------------
#修改dns
vim /etc/hosts
192.168.3.13 node1
192.168.3.14 node2

cd /opt
#将软件包传至该目录下

rpm -ivh jdk-8u201-linux-x64.rpm 

vim /etc/profile.d/java.sh				#/etc/profile.d/环境变量脚本目录	
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar		#可执行文件的位置
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile.d/java.sh           #将脚本导入到环境变量中，使其生效

java -version						   #查看版本
java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)

安装elasticsearch集群

部署 Elasticsearch 软件

----------以下操作，node1、node2 相同------------------------------------------------------------------------------------
1.安装 rpm 包
cd /opt
#将软件包传至该目录下
rpm -ivh elasticsearch-5.5.1.rpm 

2.加载系统服务
systemctl daemon-reload 	//加载系统服务
systemctl enable elasticsearch	//开启服务

3.更改 ES 主要配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
#备份

vim /etc/elasticsearch/elasticsearch.yml
//17行	cluster.name: my-elk-cluster							#集群名字
//23行	node.name: node1										#节点名字，node2节点就写node2
//33行	path.data: /data/elk_data								#数据存放路径
//37行	path.logs: /var/log/elasticsearch/						#日志存放路径
//43行	bootstrap.memory_lock: false							#不在启动的时候锁定内存（前端缓存，与IOPS-性能测试方式，每秒读写次数相关）
//55行	network.host: 0.0.0.0									#提供服务绑定的IP地址，0.0.0.0代表所有地址
//59行	http.port: 9200											#侦听端口为9200
//68行	discovery.zen.ping.unicast.hosts: ["node1", "node2"]	#集群发现通过单播实现


grep -v "^#" /etc/elasticsearch/elasticsearch.yml
#检查配置

4.创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

5.查看启动 ES 是否成功开启
systemctl start elasticsearch.service
netstat -antp | grep 9200
#这里需要等一会儿才能出来，或者多restart重启几次服务即可

6.查看节点信息，用宿主机浏览器打开 
http://192.168.3.13:9200
http://192.168.3.14:9200

在这里插入图片描述

检查集群健康状态

用宿主机浏览网页，打开 http://192.168.3.13:9200/_cluster/health?pretty

在这里插入图片描述
检查群集状态信息

打开 http://192.168.3.14:9200/_cluster/state?pretty

在这里插入图片描述
安装 elasticsearch-head 插件
我们可以通过安装elasticsearch-head插件来更方便的查看集群

------node1、node2操作相同----------------------------------------
1.编译安装 node 组件依赖包
cd /opt
#将软件包传至本目录下
yum install -y gcc gcc-c++ make

tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure 

make -j 4 && make install
#过程耗时较长!!建议同时编译安装node2

2.安装 phantomjs（前端框架）
cd /usr/local/src/
#将软件包传至本目录下
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2

cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

3.安装 elasticsearch-head（数据可视化工具）
cd /usr/local/src/
#将软件包传至本目录下
tar zxvf elasticsearch-head.tar.gz

cd elasticsearch-head/
npm install

4.修改主配置文件
cd ~
vim /etc/elasticsearch/elasticsearch.yml
#在尾部添加配置
http.cors.enabled: true
http.cors.allow-origin: "*"
#注释
1.开启跨域访问支持，默认为false
2.跨域访问允许的域名地址

systemctl restart elasticsearch

5.启动 elasticsearch-head
cd /usr/local/src/elasticsearch-head/
npm run start &
#切换到后台运行
#按回车切回命令符操作

netstat -lnupt |grep 9100
netstat -lnupt |grep 9200

在这里插入图片描述

1.在宿主机上打开浏览器，访问 http://192.168.3.13:9100/
2.然后在 Elasticsearch 后面的栏目中摄入 http://192.168.3.13:9200，点击连接，查看群集颜色是否是健康的绿色
3.访问 http://192.168.3.14:9100/，同上操作

在这里插入图片描述
登陆node1

curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"xcf","mesg":"hello world"}'
#索引为index-demo，类型为test，可以看到成功创建

在这里插入图片描述

1.打开浏览器输入http://192.168.3.11:9100/ 查看索引信息
2.可以看见索引默认被分片5个，并且有一个副本
3.点击数据浏览，会发现在node1上创建的索引为index-demo，类型为test这些相关的信息

在这里插入图片描述

部署filebeat

在tomcat服务器上进行部署

cd /opt
#把安装包拖进来
rpm -ivh filebeat-5.5.1-x86_64.rpm //安装

1.编辑配置文件
vim /etc/filebeat/filebeat.yml	
12 filebeat.prospectors:
18 - input_type: log
21   paths:
22     - /usr/local/tomcat/logs/*.log
81 output.elasticsearch:
83 hosts: ["192.168.3.11:9200"]

2.手动载入ES索引模板
curl -XPUT 'http://192.168.3.12:9200/_template/filebeat?pretty' -d@/etc/filebeat/filebeat.template.json
#成功会返回true

3.启动filebeat
/etc/init.d/filebeat start

4.宿主机浏览 http://192.168.3.11:9100/ 查看索引信息

在这里插入图片描述

node1安装 Kibana

cd /usr/local/src/
#将软件包传至本目录下
rpm -ivh kibana-5.5.1-x86_64.rpm

cd /etc/kibana/
cp kibana.yml kibana.yml.bak

vim kibana.yml
//2行	server.port: 5601                					#kibana打开的端口
//7行	server.host: "0.0.0.0"           					#kibana侦听的地址
//21行	elasticsearch.url: "http://192.168.3.13:9200"		#和elasticsearch建立联系
//30行	kibana.index: ".kibana"								#在elasticsearch中添加.kibana索引


systemctl start kibana.service
systemctl enable kibana.service

宿主机浏览 192.168.3.11:5601

1.首次登录创建一个索引 名字：filebeat-*  ##这是对接系统日志文件
Index name or pattern   
#下面输入filebeat-*

2.然后点最下面的出面的create 按钮创建

3.然后点最左上角的Discover按钮，会发现filebeat-*信息

在这里插入图片描述

吴小白呢

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
ELK理论与部署

文章目录ELK日志分析系统简介ELK日志分析系统是Logstash、Elastcsearch、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示1：ELK日志分析系统组成elasticsearch (es) :通过搭建群集;存储日志数据，索引日志数据logstash :收集日志，收集到了后给es存储kibana :视图形式展现日志信息，更加人性化2：日志处理步骤将日志进行集中化管理将日志格式化(Logstash)并输出
复制链接

扫一扫