本地集群部署ELK

Theshy！

已于 2023-04-17 11:14:04 修改

阅读量100

点赞数

分类专栏： linux 文章标签： elasticsearch 大数据 Powered by 金山文档

于 2023-04-03 15:15:05 首次发布

本文链接：https://blog.csdn.net/m0_70331483/article/details/129622621

版权

本文详细介绍了如何在本地部署ELK（Elasticsearch、Logstash、Kibana）集群，包括Elasticsearch的安装配置、内存限制调整、Head插件安装、Kafka的部署、Logstash的日志收集配置等步骤，旨在实现完整的日志分析解决方案。

摘要由CSDN通过智能技术生成

搭建架构：

elasticsearch+kafka+logstash+filebeat+kibana

环境配置要求：

组件安装包	软件名称与版本	功能
elasticsearch	7.12.1	日志存储
logstash	7.12.1	日志处理
filebeat	7.12.1	日志采集
kibana	7.12.1	日志数据图形化展示

注：elasticsearch、logstash、filebeat、kibana，安装的版本号必须全部一致。

系统优化

三台es使用root权限编辑，资源限制，内核优化。

vim配置文件/etc/security/limits.conf，最后面添加以下数据

[root@sonarqube-server ~]#vim /etc/security/limits.conf
*             soft    core            unlimited
*             hard    core            unlimited
*             soft    nproc           1000000
*             hard    nproc           1000000
*             soft    nofile          1000000
*             hard    nofile          1000000
*             soft    memlock         unlimited
*             hard    memlock         unlimited
*             soft    msgqueue        8192000
*             hard    msgqueue        8192000

noproc 是代表最大进程数

nofile 是代最大文件打开数

注意，修改limits.conf文件后，需要重启系统生效

使用ulimit -a 可以查看当前系统的所有限制值

vim配置文件/etc/sysctl.conf，加入以下内容

vim /etc/sysctl.conf

vm.overcommit_memory = 1 
vm.max_map_count=655360

执行sysctl -p使配置生效

sysctl -p

安装基本命令，并且需要做时间同步

wget -O /etc/yum.repos.d/epel.repo
yum install -y net-tools vim lrzsz tree screen lsof tcpdump wget ntpdate 
cp /usr/share/zoneinfo/Asia/Shanghai/ /etc/localtime

一. 安装elasticsearch

1.创建三台es数据目录

mkdir /data -p

2.给目录授权

chown elasticsearch.elasticsearch  /data/ -R

3.选取/dev/sdb作为挂载硬盘，es三台机器/dev/sdb需要格式化

#格式化命令
mkfs.xfs /dev/sdb

4.设置三台es磁盘挂载目录

三台es使用blkid /dev/sdb命令获取/dev/sdb的uuid，然后通过uuid进行挂载

[root@elk-server-1 src]# blkid /dev/sdb
/dev/sdb: UUID="86ad1445-3bfd-40ca-bda7-5c6b34ddb45c" TYPE="xfs" 
[root@elk-server-2 src]# blkid /dev/sdb
/dev/sdb: UUID="910f297b-16b1-4742-9696-9bd7fa5c57fa" TYPE="xfs" 
[root@elk-server-3 src]# blkid /dev/sdb
/dev/sdb: UUID="54a5d00e-a977-4aee-8457-b731f092cf09" TYPE="xfs"

5.三台es分别设置fstab

vim /etc/fstab
UUID="86ad1445-3bfd-40ca-bda7-5c6b34ddb45c" /data xfs     defaults      0 0
UUID="910f297b-16b1-4742-9696-9bd7fa5c57fa" /data xfs     defaults      0 0
UUID="54a5d00e-a977-4aee-8457-b731f092cf09" /data xfs     defaults      0 0