ELK系统搭建

最新推荐文章于 2024-07-22 15:43:33 发布
最新推荐文章于 2024-07-22 15:43:33 发布
阅读量205 收藏
点赞数
分类专栏： elk 文章标签： kafka zk elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43334786/article/details/109137494
版权

目录

一、基本架构

主机名IP应用角色
kafka110.1.1.4Zookeeper+Kafka1
kafka210.1.1.5Zookeeper+Kafka2
kafka310.1.1.6Zookeeper+Kafka3
logstash10.1.1.7Logstash
es110.1.1.8ES1data/master
es210.1.1.9ES2+Kibanadata/master
es310.1.1.10ES3data/master

二、配置zookeeper集群

1、（三个节点同时操作）解压zookeeper至指定目录：

[root@kafka1 ~]# cd /usr/local/src
[root@kafka1 src]# tar -zxf apache-zookeeper-3.5.7-bin.tar.gz -C /usr/local
[root@kafka1 src]# mv /usr/local/apache-zookeeper-3.5.7-bin /usr/local/zookeeper

创建zookeeper集群的数据目录和日志目录：

[root@kafka1 local]# mkdir -p /data/apache/zookeeper/data/zookeeper
[root@kafka1 local]# mkdir -p /data/apache/zookeeper/datalog/zookeeper

区分到底是第几个实例呢，就要有个id文件，且名字必须是myid:

[root@kafka1 local]# echo 0 >/data/apache/zookeeper/data/zookeeper/myid
[root@kafka2 local]# echo 1 >/data/apache/zookeeper/data/zookeeper/myid
[root@kafka3 local]# echo 2 >/data/apache/zookeeper/data/zookeeper/myid

修改配置文件：
zookeeper1：

[root@kafka1 ~]# cd /usr/local/zookeeper/conf/
[root@kafka1 conf]# cp zoo_sample.cfg zoo.cfg
[root@kafka1 conf]# vim zoo.cfg 
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
dataDir=/data/apache/zookeeper/data/zookeeper/
dataLogDir=/data/apache/zookeeper/datalog/zookeeper/
server.0=10.1.1.4:2888:2889
server.1=10.1.1.5:2888:2889
server.2=10.1.1.6:2888:2889

zookeeper2：

[root@kafka1 ~]# cd /usr/local/zookeeper/conf/
[root@kafka1 conf]# cp zoo_sample.cfg zoo.cfg
[root@kafka1 conf]# vim zoo.cfg 
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
dataDir=/data/apache/zookeeper/data/zookeeper/
dataLogDir=/data/apache/zookeeper/datalog/zookeeper/
server.0=10.1.1.4:2888:2889
server.1=10.1.1.5:2888:2889
server.2=10.1.1.6:2888:2889

zookeeper3：

[root@kafka1 ~]# cd /usr/local/zookeeper/conf/
[root@kafka1 conf]# cp zoo_sample.cfg zoo.cfg
[root@kafka1 conf]# vim zoo.cfg 
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
dataDir=/data/apache/zookeeper/data/zookeeper/
dataLogDir=/data/apache/zookeeper/datalog/zookeeper/
server.0=10.1.1.4:2888:2889
server.1=10.1.1.5:2888:2889
server.2=10.1.1.6:2888:2889

然后启动三个zookeeper：

[root@kafka1 local]# zookeeper/bin/zkServer.sh start
[root@kafka2 local]# zookeeper/bin/zkServer.sh start
[root@kafka3 local]# zookeeper/bin/zkServer.sh start

查看集群中各节点状态：

zookeeper1为从节点
[root@kafka1 local]# zookeeper/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower

zookeeper2为主节点
[root@kafka2 local]# zookeeper/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader

zookeeper3为从节点
[root@kafka3 local]# zookeeper/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower

三、配置Kafka集群

1、（三个节点同时操作）下载并解压至指定目录：

[root@kafka1 ~]# cd /usr/local/src
[root@kafka1 src]# tar -zxf kafka_2.11-2.4.0.tgz -C /usr/local
[root@kafka1 src]# mv /usr/local/kafka_2.11-2.4.0 /usr/local/kafka

2、修改配置文件：

Kafka1：

[root@kafka1 local]# cat kafka/config/server.properties 
############################# Server Basics #############################
broker.id=0

############################# Socket Server Settings #############################
listeners=SASL_PLAINTEXT://10.1.1.4:9092

num.network.threads=4
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

############################# Log Basics #############################
log.dirs=/usr/local/kafka/logs
num.partitions=3
num.recovery.threads.per.data.dir=1

############################# Internal Topic Settings  #############################
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

auto.create.topics.enable=false
#dafault.replication.factor=3
#num.partitions=3

############################# Log Flush Policy #############################

############################# Log Retention Policy #############################
log.retention.hours=6
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
log.cleaner.enable=false
log.cleanup.policy=delete
delete.topic.enable=true

############################# Zookeeper #############################
zookeeper.connect=110.1.1.4:2181,10.1.1.5:2181,10.1.1.6:2181
zookeeper.connection.timeout.ms=600000

############################# Group Coordinator Settings #############################
group.initial.rebalance.delay.ms=0

在10.1.1.5上配置Kafka2节点，步骤同kafka1一样，只不过配置文件中需要修改broker.id和host.name，如下：

[root@kafka2 local]# cat kafka/config/server.properties
############################# Server Basics #############################
broker.id=1

############################# Socket Server Settings #############################
listeners=SASL_PLAINTEXT://10.1.1.5:9092

num.network.threads=4
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

############################# Log Basics #############################
log.dirs=/usr/local/kafka/logs
num.partitions=3
num.recovery.threads.per.data.dir=1

############################# Internal Topic Settings  #############################
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

auto.create.topics.enable=false
#dafault.replication.factor=3
#num.partitions=3

############################# Log Flush Policy #############################

############################# Log Retention Policy #############################
log.retention.hours=6
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
log.cleaner.enable=false
log.cleanup.policy=delete
delete.topic.enable=true

############################# Zookeeper #############################
zookeeper.connect=110.1.1.4:2181,10.1.1.5:2181,10.1.1.6:2181
zookeeper.connection.timeout.ms=600000

############################# Group Coordinator Settings #############################
group.initial.rebalance.delay.ms=0

Kafka3：

############################# Server Basics #############################
broker.id=2

############################# Socket Server Settings #############################
listeners=SASL_PLAINTEXT://10.1.1.6:9092

num.network.threads=4
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

############################# Log Basics #############################
log.dirs=/usr/local/kafka/logs
num.partitions=3
num.recovery.threads.per.data.dir=1

############################# Internal Topic Settings  #############################
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

auto.create.topics.enable=false
#dafault.replication.factor=3
#num.partitions=3

############################# Log Flush Policy #############################

############################# Log Retention Policy #############################
log.retention.hours=6
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
log.cleaner.enable=false
log.cleanup.policy=delete
delete.topic.enable=true

############################# Zookeeper #############################
zookeeper.connect=110.1.1.4:2181,10.1.1.5:2181,10.1.1.6:2181
zookeeper.connection.timeout.ms=600000

############################# Group Coordinator Settings #############################
group.initial.rebalance.delay.ms=0

启动Kafka集群，需要在Kafka1、Kafka2和Kafka3上执行以下命令，无报错即成功：

[root@kafka1 ~]# cd /usr/local/kafka
[root@kafka1 ~]# bin/kafka-server-start.sh config/server.properties

四、安装Logstash

1、安装JDK和Logstash

[root@logstash ~]# rpm -ivh jdk-8u241-linux-x64.rpm 
[root@logstash ~]# tar -zxf logstash-7.6.2.tar.gz -C /usr/local

2、修改logstash配置文件：

[root@logstash ~]# cd /usr/local/logstash-7.6.2
[root@logstash logstash-7.6.2]# vim config/logstash.yml
node.name: logstash_filebeat
pipeline.id: logstash_filebeat_p
pipeline.workers: 3 
pipeline.batch.size: 5000
pipeline.batch.delay: 200
http.host: "0.0.0.0"
http.port: 19600-19700

[root@logstash logstash-7.6.2]# vim config/jvm.options
将最大内存和最小内存调整为物理内存的一半

3、创建logstash的数据处理文件：

[root@logstash ~]# cat /etc/logstash/conf.d/kafka-es.conf 
input {
    kafka  {
        codec => "json"
        topics_pattern => "nginx"
        bootstrap_servers => "10.1.1.4:9092,10.1.1.5:9092,10.1.1.6:9092"
        auto_offset_reset => "latest"
   }
}

filter {
    ruby {
		code => "event.timestamp.time.localtime"
	}
}

output {
    elasticsearch {
        hosts => ["10.1.1.8:9200","10.1.1.9:9200","10.1.1.10:9200"]
        index => "nginx"
        }
}

启动logstash：

[root@logstash ~]# systemctl start logstash

五、配置ES集群：

ES1\ES2\ES3上操作以下内容：
新建用户elk，用于启动es集群，es官方规定，不能以root账号启动，所以我们需要创建用户和用户组，设置密码，并加入到sudoers中：

[root@es1 ~]# useradd elk
[root@es1 ~]# passwd elk
[root@es1 ~]# vim /etc/sudoers
root    ALL=(ALL)       ALL
elk     ALL=(ALL)       ALL

在三台服务器创建目录，压缩包放置目录：/opt/zip，安装软件目录：/opt/soft,es数据存放目录：/var/es/data，es日志存放目录：/var/es/logs:

[root@es1 ~]# mkdir -p /opt/soft /opt/zip
[root@es1 ~]# mkdir -p /var/es/{data,logs}
[root@es1 ~]# chown -R elk:elk /var/es/{data,logs}

安装JDK和ES：

[root@es1 ~]# rpm -ivh jdk-8u241-linux-x64.rpm 
[root@es1 ~]# tar -xvf /opt/zip/elasticsearch-7.6.0-linux-x86_64.tar.gz -C /opt/soft/
[root@es1 ~]# chown -R elk:elk /opt/soft/elasticsearch-7.6.0

在三台服务器修改系统配置文件：
加大线程数限制，Elasticsearch通过将请求分解为多个阶段并将这些阶段交给不同的线程池执行程序来执行请求。Elasticsearch中的各种任务有不同的线程池执行程序。因此，Elasticsearch需要能够创建大量线程。检查的最大线程数确保Elasticsearch进程有权在正常使用下创建足够的线程，至少需要4096个线程

[root@mb ~]# vim /etc/security/limits.conf
*                soft    nofile          65536
*                hard    nofile          65536
*                soft    nproc           4096
*                hard    nproc           4096

修改虚拟内存大小：

[root@es1 ~]# vim /etc/sysctl.conf
vm.max_map_count=262144

使修改后的配置生效：

[root@es1 ~]# sysctl -p
vm.max_map_count = 262144

ES单节点配置文件：

path.data: /var/es/data
path.logs: /var/es/logs
network.host: 10.1.1.8
http.port: 9200
discovery.type: single-node

ES集群配置如下：
ES1节点配置：

[root@es1 ~]# cat /opt/soft/elasticsearch-7.6.0/elasticsearch.yml
cluster.name: my-app
node.name: es1
node.master: true
node.data: true
path.data: /var/es/data
path.logs: /var/es/logs
network.host: 10.1.1.8
http.port: 9200
transport.tcp.port: 9300
cluster.initial_master_nodes: ["es1"]
discovery.zen.ping.unicast.hosts: ["10.1.1.8:9300","10.1.1.9:9300", "10.1.1.10:9300"]
discovery.zen.minimum_master_nodes: 2

ES2节点配置：

[root@es2 ~]# cat /opt/soft/elasticsearch-7.6.0/elasticsearch.yml
cluster.name: my-app
node.name: es2
node.master: true
node.data: true
path.data: /var/es/data
path.logs: /var/es/logs
network.host: 10.1.1.9
http.port: 9200
transport.tcp.port: 9300
cluster.initial_master_nodes: ["es1"]
discovery.zen.ping.unicast.hosts: ["10.1.1.8:9300","10.1.1.9:9300", "10.1.1.10:9300"]
discovery.zen.minimum_master_nodes: 2

ES3节点配置：

[root@es3 ~]# cat /opt/soft/elasticsearch-7.6.0/elasticsearch.yml
cluster.name: my-app
node.name: es3
node.master: true
node.data: true
path.data: /var/es/data
path.logs: /var/es/logs
network.host: 10.1.1.10
http.port: 9200
transport.tcp.port: 9300
cluster.initial_master_nodes: ["es1"]
discovery.zen.ping.unicast.hosts: ["10.1.1.8:9300","10.1.1.9:9300", "10.1.1.10:9300"]
discovery.zen.minimum_master_nodes: 2

在三个ES节点分别启动ES，必须用非root用户启动：

[root@es1 ~]# su - elk
[elk@es1 ~]$ cd /opt/soft/elasticsearch-7.6.0/
[elk@es1 elasticsearch-7.6.0]$ bin/elasticsearch
#启动后检查没问题的话，可以进行后台启动：
[elk@es3 elasticsearch-7.6.0]$ bin/elasticsearch -d

启动完成后，在浏览器输入http://10.1.1.8:9200/_cat/nodes?v，可以看到：

ip          heap.percent ram.percent cpu  load_1m load_5m load_15m node.role master name
10.1.1.8           14          94     0    0.06    0.03     0.05   dilm       *      es1
10.1.1.9           12          97     3    0.14    0.09     0.11   dilm       -      es2
10.1.1.10          12          93     0    0.32    0.08     0.07   dilm       -      es3

至此，ES集群搭建完了。

以上ES集群搭建过程是每台服务器都搭建一个节点，如果只有一个服务器，需要搭建多个节点的话，搭建过程可参考zookeeper、mysql或redis的单机多实例部署。

六、安装Kibana

在ES2上安装JDK和Kibana：

[root@es2 ~]# rpm -ivh jdk-8u241-linux-x64.rpm 
[root@es2 ~]# tar -zxf /opt/zip/kibana-7.6.0-linux-x86_64.tar.gz -C /opt/soft/

修改配置：

[root@es2 soft]$ cat kibana-7.6.0-linux-x86_64/config/kibana.yml |grep -v "#"
server.port: 5601
server.host: "10.1.1.9"
server.name: "es2"
elasticsearch.hosts: ["http://10.1.1.8:9200","http://10.1.1.9:9200","http://10.1.1.10:9200"]
i18n.locale: "zh-CN"

启动Kibana：

[root@es2 soft]$ cd /opt/soft/kibana-7.6.0-linux-x86_64/
[root@es2 kibana-7.6.0-linux-x86_64]$ bin/kibana 
#启动后无报错的话，可以后台启动
#[root@es2 kibana-7.6.0-linux-x86_64]$ nohup bin/kibana &

七、Kibana可视化界面使用

Kibana启动完成后，可以访问http://10.1.1.9:5601：
在这里插入图片描述

Dustin.Hoffman
关注
专栏目录
ELK日志分析系统搭建
开源中国
03-23 3079
什么是ELK？ Elasticsearch 是一个搜索和分析引擎。 Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等存储库中。 Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。 ELK日志系统数据流图： ELK软件yum安装： 一、下载安装KEY： 这三个软件使用一个KEY。 Download and install the public signing key:
ELK系统的搭建
Aldenw的博客
08-17 257
搭建elk中所遇到的问题 1.OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000ca660000, 899284992, 0) failed; error='Cannot allocate memory’ 内存问题 free -m查看内存 和交换空间swap， 安装交换空间，增大交换空间 https://blog.csdn.net/weixin_44105991/article/details/91320644...
ELK详细搭建流程
最新发布
m0_65196233的博客
07-22 3076
elasticsearch+Logstach+kibana详细搭建流程
ELK日志分析系统
Hanxuhanhan的博客
07-10 3511
随着业务量的增长，每天业务服务器将会产生上亿条的日志，单个日志文件达几个GB，这时我们发现用Linux自带工具，cat grep awk 分析越来越力不从心了，而且除了服务器日志，还有程序报错日志，分布在不同的服务器，查阅繁琐。ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。...
ELK——ELK日志分析系统部署搭建
611 - 菜鸟运维逆袭架构师之路
06-14 1107
ELK——ELK日志分析系统部署搭建ELK日志分析系统部署搭建日志分析前言日志分析传统方案ELK简介ELK工作原理图示ELK实战配置部署Elasticsearch基础环境安装配置部署插件安装插件测试部署Logstash数据搜集测试部署Kibana访问kibana以及Web界面应用 ELK日志分析系统部署搭建 日志分析前言 在日常运维工作中，对于系统和业务日志的处理尤为重要 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因
ELK日志收集系统搭建
08-13
NULL 博文链接：https://donald-draper.iteye.com/blog/2302224
ELK系统搭建.docx
05-23
ELK系统搭建是IT领域中一种广泛采用的日志管理和分析解决方案，它由Elasticsearch、Logstash、Kibana三个核心组件组成。这三个开源软件协同工作，提供了从日志收集、处理到可视化的一体化流程。 **Elasticsearch** ...
开源实时日志分析ELK系统搭建说明
04-27
自己通过5天时间在Ubuntu14.04 Server亲自搭建master节点和node节点，实验成功后亲自编写的《开源实时日志分析ELK系统搭建说明》，分虽然高一些，但是内容看了很值得，包含搭建、实验、排错等环节，谢谢大家~。
Centos7下搭建ELK日志分析系统
11-02
【Centos7下搭建ELK日志分析系统】 ELK栈是日志管理和分析的强大工具，由Elasticsearch、Logstash、Kibana三个组件组成。Elasticsearch是一个分布式的实时搜索和分析引擎，用于存储、分析和检索大量数据。Logstash...
快速搭建ELK日志分析系统
01-07
官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南：https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.html ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。 Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结
ELK搭建日志分析系统
iOLO的博客
03-06 2333
记录ELK的搭建过程和遇到的问题， 所有下载链接都在官方下载地址 建议服务器配置高一些，例如2HG ES安装 下载后上传到对应的服务器位置 解压 ： tar -xzvf file.tar.gz 配置磁盘，当磁盘大于95%，就只能读取，不能写入 cluster.routing.allocation.disk.threshold_enabled: false 解压后，进入对应目录，启动，因为e...
ELK 环境搭建
默存
09-28 6969
ELK 其实是 Elasticsearch、Logstash和Kibana三个产品的首字母缩写，这三款都是开源产品。
ELK日志系统
weixin_30662539的博客
08-17 73
转自 https://zhuanlan.zhihu.com/p/26399963 ELK中的三个系统分别扮演不同的角色，组成了一个整体的解决方案。 Logstash是一个ETL工具，负责从每台机器抓取日志数据，对数据进行格式转换和处理后，输出到Elasticsearch中存储。 Elasticsearch是一个分布式搜索引擎和分析引擎，用于数据存储，可提供实时的数据查询。 Kibana是...
ELK搭建完整步骤
qq_45882426的博客
11-09 2172
ELK其实是Elasticsearch，Logstash 和 Kibana三个产品的首字母缩写，这三款都是开源产品。ElasticSearch(简称ES)，是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。Logstash，是一个数据收集引擎，主要用于进行数据收集、解析，并将数据发送给ES。支持的数据源包括本地文件、ElasticSearch、MySQL、Kafka等等。Kibana，为 Elasticsearch 提供了分析和 Web 可视化界面，并生成各种维度表格、图形。
elk日志系统
仅做个人笔记
07-28 131
从读取本地日志文件开始， https://blog.51cto.com/zero01/2079879 https://blog.51cto.com/zero01/2082794
ELK（Elasticsearch+Logstash+Kibana）日志分析系统
十七拾的博客
04-11 5399
本文主要介绍了ELK日志文件系统的概念和部署过程，详细阐释了Elasticsearch、Logstash、Kibana三个开源的日志收集、存储、检索和可视化的工具
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dustin.Hoffman

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值