ELK集群部署

最新推荐文章于 2024-06-13 00:07:48 发布
最新推荐文章于 2024-06-13 00:07:48 发布
阅读量5.6k 收藏 23
点赞数 1
分类专栏： 部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ljx1528/article/details/100031330
版权

一、ELK简介
1、Elasticsearch

Elasticsearch是一个实时的分布式搜索分析引擎， 它能让你以一个之前从未有过的速度和规模，去探索你的数据。它被用作全文检索、结构化搜索、分析以及这三个功能的组合

2、Logstash

Logstash是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。

3、Kibana

kibana是一个开源和免费的工具，它可以为Logstash和ElasticSearch提供的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志。

4、ELK版本信息为7.2.1，你可以从官网下，也可以直接从下面地址下载：

https://artifacts.elastic.co/downloads/logstash/logstash-7.2.1.tar.gz
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.2.1-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/kibana/kibana-7.2.1-linux-x86_64.tar.gz
官网地址：https://www.elastic.co/cn/downloads/

二、环境准备
1、三台Linux服务器，系统为CentOS7.x

[root@elk-1 config]# cat /etc/redhat-release 
CentOS Linux release 7.5.1804 (Core)

2、角色划分

NODEIP节点类型
elk-1192.168.108.151数据、主节点（安装elasticsearch、logstash、kabana）
elk-2192.168.108.152数据节点（安装elasticsearch)
elk-3192.168.108.153数据节点（安装elasticsearch)

3、安装jdk11
这里安装jdk11，如果安装9或者8会报错，具体可看官方文档：

https://www.elastic.co/cn/support/matrix
https://www.elastic.co/guide/en/elasticsearch/reference/7.2/setup.html

3.1、下载安装包

[root@elk-1 ~]# wget https://download.java.net/java/GA/jdk11/13/GPL/openjdk-11.0.1_linux-x64_bin.tar.gz
[root@elk-1 ~]# tar -xzvf jdk-11.0.4_linux-x64_bin.tar.gz /usr/local/jdk

3.2、配置环境变量

#set java environment
JAVA_HOME=/usr/local/jdk/jdk-11.0.1
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

3.3、使环境变量生效

[root@elk-1 ~]# source /etc/profile

3.4、查看jdk是否安装成功（出现以下信息说明安装成功）

[root@elk-1 ~]# java -version
openjdk version "11.0.1" 2018-10-16
OpenJDK Runtime Environment 18.9 (build 11.0.1+13)
OpenJDK 64-Bit Server VM 18.9 (build 11.0.1+13, mixed mode)

三、 安装Elasticsearch（简称ES）集群
1、下载及解压
1.1、下载

[root@elk-1 ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.2.1-linux-x86_64.tar.gz

1.2、解压

[root@elk-1 ~]# tar -zvxf elasticsearch-7.2.1-linux-x86_64.tar.gz -C /usr/local/elk

2、创建用户及授权
ElasticSerach要求以非root身份启动，在每个节点创建用户及用户组

[root@elk-1 ~]# groupadd elasticsearch
[root@elk-1 ~]# useradd elasticsearch -g elasticsearch

在每个节点上创建数据data和logs目录：

[root@elk-1 ~]# mkdir -p /data/elasticsearch/{data,logs}
[root@elk-1 ~]# chown -R elasticsearch. /data/elasticsearch/
[root@elk-1 ~]# chown -R elasticsearch. /home/elk/elasticsearch/elasticsearch-7.2.1

3、修改elasticsearch.yml配置文件
3.1、master节点配置文件

[root@elk-1 config]# grep -Ev "^$|^[#;]"  elasticsearch.yml
cluster.name: master-node
node.name: master
node.master: true
node.data: true
http.cors.enabled: true
http.cors.allow-origin: /.*/
path.data: /home/elk/data
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["192.168.108.151", "192.168.108.152", "192.168.108.153"]
cluster.initial_master_nodes: ["master-node", "data-node1","data-node2"]

3.2、node1节点配置文件

[root@elk-2 config]# grep -Ev "^$|^[#;]"  elasticsearch.yml
cluster.name: master-node
node.name: data-node1
node.master: true
node.data: true
path.data: /home/elk/data
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["192.168.108.151", "192.168.108.152", "192.168.108.153"]
cluster.initial_master_nodes: ["master-node", "data-node1","data-node2"]

3.3、node2节点配置文件

[root@elk-3 config]# grep -Ev "^$|^[#;]"  elasticsearch.yml
cluster.name: master-node
node.name: data-node2
node.master: true
node.data: true
path.data: /home/elk/data
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["192.168.108.151", "192.168.108.152", "192.168.108.153"]
cluster.initial_master_nodes: ["master-node", "data-node1","data-node2"]

4、修改elasticsearch的JVM内存

[root@elk-1 config]# grep -Ev "^$|^[#;]"  jvm.options 
-Xms1g
-Xmx1g

5、启动elasticsearch

[root@ELK1 elk]# su - elasticsearch
Last login: Mon Aug 12 09:58:23 CST 2019 on pts/1

[elasticsearch@ELK1 ~]$ cd /home/elk/elasticsearch-7.2.1/bin/
[elasticsearch@ELK1 bin]$ ./elasticsearch -d

5.1、查看端口号，分别为9200和9300

[root@elk-1 config]# ss -tlunp|grep java
tcp    LISTEN     0      128      :::9200                 :::*                   users:(("java",pid=50257,fd=263))
tcp    LISTEN     0      128      :::9300                 :::*                   users:(("java",pid=50257,fd=212))

5.2、es集群基本操作

#查看集群的健康信息
curl 'localhost:9200/_cluster/health?pretty'

#查看集群的详细信息
curl ' localhost:9200/_cluster/state?pretty'

#查询索引列表
curl -XGET http:// localhost:9200/_cat/indices?v

#创建索引
curl -XPUT http:// localhost:9200/customer?pretty

#查询索引
curl -XGET http:// localhost:9200/customer/external/1?pretty

#查询es数据
curl -XGET 'http://localhost:9200/_cat/count/索引名称'

#删除索引
curl -XDELETE http:// localhost:9200/customer?pretty

#删除指定索引
curl -XDELETE localhost:9200/nginx-log-2019.08

#删除多个索引
curl -XDELETE localhost:9200/system-log-2019.0606,system-log-2019.0607

#删除所有索引
curl -XDELETE localhost:9200/_all

#在删除数据时，通常不建议使用通配符，误删后果会很严重，所有的index都可能被删除,为了安全起见需要禁止通配符，可以在elasticsearch.yml配置文件中设置禁用_all和*通配符
action.destructive_requires_name: true

四、安装logstash
说明：在每台需要收集日志的服务器部署即可
1、下载解压

#下载
[root@ELK1 tools]# wget https://artifacts.elastic.co/downloads/logstash/logstash-7.2.1.tar.gz

#解压
[root@ELK1 tools]# tar -zcxf logstash-7.2.1.tar.gz -C /home/elk

#创建数据及日志目录
[root@ELK1 tools]# mkdir -p /data/logstash/{logs,data}

2、修改logstash配置文件（可不修改此配置文件）

[root@ELK1 tools]# vim /home/elk/logstash-7.2.1/config/logstash.yml

http.host: "ELK1"
path.data: /data/logstash/data
path.logs: /data/logstash/logs
xpack.monitoring.enabled: true #kibana监控插件中启动监控logstash
xpack.monitoring.elasticsearch.hosts: ["192.168.108.151:9200","192.168.108.152:9200","192.168.108.153:9200"]

3、创建监控日志的配置文件（重要）

[root@access-1 logstash-7.0.1]# cat logstash_809.conf
input {
    file{
        path => ['/root/access-server-1.0.5/log/akka-gb809.log']
	type => "akka-gb809"
	stat_interval => "2"
    }
    file{
	path => ['/root/access-server-1.0.5/log/akka-gb808.log']
	type => "akka-gb808"
	stat_interval => "2"
    }
    file{
	path => ['/root/access-server-1.0.5/log/akka.log']
	type => "akka"
	stat_interval => "2"
    }
    file{
	path => ['/root/access-server-1.0.5/log/all_error.log']
	type => "all_error"
	stat_interval => "2"
	codec => multiline {
		pattern => "(^\d{2}\:\d{2}\:\d{2}\.\d{3})UTC"
		negate => true
		what => "previous"
	}

    }

}

filter {
      date {
         match => [ "timestamp" , "yyyy-MM-dd HH:mm:ss.SSS" ]
      }
}


output {
	if [type] == "akka-gb809" {
 		 elasticsearch {
    			hosts  => "192.168.108.151:9200"
    			index  => "akka-gb809-%{+YYYY.MM.dd}"
  			}
		}

	if [type] == "akka-gb808" {
 		 elasticsearch {
    			hosts  => "192.168.108.151:9200"
    			index  => "akka-gb808-%{+YYYY.MM.dd}"
  			}
		}
	if [type] == "akka" {
 		 elasticsearch {
    			hosts  => "192.168.108.151:9200"
    			index  => "akka-%{+YYYY.MM.dd}"
  			}
		}
	if [type] == "all_error" {
 		 elasticsearch {
    			hosts  => "192.168.108.151:9200"
    			index  => "all_error-%{+YYYY.MM.dd}"
  			}
		}
}

4、启动服务

nohup /usr/local/elk/logstash-7.2.1/bin/logstash -f /usr/local/elk/logstash-7.2.1/logstash.conf &

五、安装kibana
1、下载及解压

#进入工具目录
[root@ELK1 tools] cd /home/tools

#下载
[root@ELK1 tools] wget https://artifacts.elastic.co/downloads/kibana/kibana-7.2.1-linux-x86_64.tar.gz

#解压
[root@ELK1 tools] tar xf kibana-7.2.1-linux-x86_64.tar.gz -C /usr/local/src/

#创建日志目录
mkdir -p /data/kibana/logs/

2、修改kibana配置文件

[root@elk-1 config]# grep -Ev "^$|^[#;]" kibana.yml
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]
i18n.locale: "zh-CN"

3、启动服务

[root@ELK1 tools]# cd /home/elk/kibana-7.2.1-linux-x86_64/
[root@ELK1 kibana-7.2.1-linux-x86_64]# nohup bin/kibana &

4、浏览器输入kibana地址即可访问web页面
在这里插入图片描述
六、kibana简单使用
1、创建索引
在这里插入图片描述
2、查看日志
在这里插入图片描述
3、检索日志
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
4、日志数量统计
在这里插入图片描述

运维那些事~
关注
  • 1
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
linux————ELK（日志收集系统集群）
a872182042的博客
08-30 2219
日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。
ELK日志系统浅析与部署
热门推荐
Mars
06-22 3万+
一、ELK应用场景在复杂的企业应用服务群中,记录日志方式多种多样，并且不易归档以及提供日志监控的机制。无论是开发人员还是运维人员都无法准确的定位服务、服务器上面出现的种种问题，也没有高效搜索日志内容从而快速定位问题的方式。因此需要一个集中式、独立的、搜集管理各个服务和服务器上的日志信息，集中管理，并提供良好的UI界面进行数据展示，处理分析。得此：ELK提供一套开源的解决方案，能高效、简便的满足以上...
从ES的JVM配置起步思考JVM常见参数优化
最新发布
张彦峰的博客
06-13 5794
Java 8目前仍然是许多企业中主要使用的版本之一，尤其是对于比较保守的公司。在过去，CMS (Concurrent Mark-Sweep) 垃圾回收器在Java 8中是一种常见选择，因为它在某些场景下能够提供较好的性能。然而，随着Java版本的不断更新，一些旧的特性和组件被淘汰或替代，比如CMS。Java 14中正式废弃了CMS，而新的垃圾回收器，如ZGC和G1，逐渐成为了主流选择。ZGC和G1在处理大内存堆和低停顿时间方面表现出色，适用于现代应用程序的需求。
在k8s上部署ES集群
你说亮不亮的博客
01-07 1万+
一、k8s集群架构： IP 角色 192.168.1.3 master1 192.168.1.4 master2 192.168.1.5 master3 192.168.1.6 node1 192.168.1.7 node2 二、部署ES集群 1、配置storageclass，用于动态创建pvc，并自动绑定pv [root@master1 tmp]# cat sc.yaml kind: StorageClass apiVersion: storage.k8s.io/v1
随记——ELK部署
weixin_49439135的博客
06-21 1134
下载安装包：elasticsearch、kibana、logstash、filebeat 注意版本要一致，这里用的是7.13.4。es安装目录中的plugins目录下新建目录ik,将下载的zip解压到新建目录下。kibana也不能使用root账户启动，使用上面es创建的账户即可。注意防火墙，测试环境可以关闭防火墙，生产可以选择放开相应端口。下载地址：（选择对应版本的分词器下载，直接下载zip即可）重启es，log中可以看到插件加载成功。
部署elk集群6
贾文超的博客
05-18 531
elk日志收集
Elasticsearch集群部署，配置head监控插件
花海~
11-25 1222
Elasticsearch：是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
elk集群部署手册
08-22
**ELK集群部署手册** ELK（Elasticsearch, Logstash, Kibana）是用于日志管理和分析的流行开源工具栈。这个集群部署手册将详细介绍如何构建和配置ELK集群，以便有效地处理、解析、存储和展示大量日志数据。 ### ...
ELK集群部署手册
11-11
《ELK集群部署手册》详述了如何搭建和运用ELK(日志分析系统)，它由Elasticsearch、Logstash和Kibana三个组件构成，是处理和分析日志的强大工具链。本篇将深入探讨这三个组件的功能以及集群部署过程。 Elasticsearch...
ELK集群部署（elasticsearch\logstash\kibana）
01-18
ELK堆栈，即Elasticsearch、...总的来说，ELK堆栈提供了全面的日志管理解决方案，而集群部署则增强了其在大规模环境下的稳定性和效率。通过精心规划和配置，你可以利用ELK有效地监控系统健康、排查问题并优化运营。
部署ELK分布式日志分析平台
02-28
一、ELK应用背景： 二、ELK平台概述： 三、ELK核心组件： 四、案例：部署ELK分布式日志分析平台： 五、案例：应用ELK日志分析平台进行分析nginx日志：
ELK 8.13.4 集群部署
05-29
ELK是Elasticsearch、Logstash和Kibana三个开源软件的缩写，它们组合成一套完整的日志收集、分析和可视化解决方案。该文档通过HTTPS模式实现ELK的部署。
ELK集群搭建/K8S集群日志采集
jfcjjg的博客
11-24 3825
部署ELK-7.12.0一、所需的基础环境1、JDK环境2、磁盘配置3、修改操作系统限制二、部署ES 1、创建路径2、修改配置3、启动三、安装es-head三、安装kibana四、安装filebeat 一、所需的基础环境 部署包 提取码：anmc 1、JDK环境 对应版本对应支持的JDK环境也有所差异，但基本都支持JDK1.8 三台机器都需要执行 [root@node1 /]# mkdir /home/apps [root@node1 /]# cd /home/apps [root@node1 apps]#
ELK日志分析集群部署
weixin_56270746的博客
07-08 1139
ELK是三个软件的统称，即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件，通常配合使用，并且都先后归于Elastic.co企业名下，故被简称为ELK协议栈。ELK主要用于部署在企业架构中，收集多台设备上多个服务的日志信息，并将其统一整合后提供给用户。它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。在ELK架构中，Elasticsearch、Logstash和Kibana三款软件作用如下： 2、Elasticsearch（es） Elast
部署ELK集群
JiaGeYa的博客
08-07 1050
ELK部署
在redhat7/8平台上部署ELK7.17.18的技术方案
watermelonbig的专栏
04-16 1143
近期工作中涉及到使用ELK搭建了一套日志服务平台，解决数据中心各类设备日志的统一采集、存储与查询问题。整体上本部署方案是按照一次性成型的设计方式，在完成配置后，启动各项服务实例即形成一套可以满足生产数据中心使用要求的日志服务平台。
分布式ELK 平台搭建
woaini1314520_xhh的博客
01-24 858
一，ELK简介 什么是ELK ELK是一套日志管理的解决方案，是一套集中式日志收集系统 – Elasticsearch:负责日志检索和储存 – Logstash:负责日志的收集和分析、处理 Shipper：发送事件（events）至 LogStash；通常，远程代理端（agent）只需要运行这个 组件即可；  Broker and Indexer：接收并索引化事件； ...
ELK安装部署搭建
m0_61664359的博客
01-20 3816
一、ELKStack简介 -- 日志分析管理（都是Java架构 -- 需要JDK底层） 什么是ELK？通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK又称ELKstack，官网Free and Open Search: The Creators of Elasticsearch, ELK & Kibana | Elastic. 1、Elasticsearch elastics..
给我个ELK集群部署的操作流程详细的
09-09
为您提供一个ELK集群部署的基本操作流程： 1. 安装Java：首先需要安装Java环境。在ELK集群中，Elasticsearch和Logstash需要Java环境才能运行。在安装Java时，需要确保Java版本符合Elasticsearch和Logstash的要求。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

运维那些事~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值