contos7下ELK单机版搭建-干货满满

已于 2024-06-05 11:38:48 修改
阅读量1k 收藏 16
点赞数 18
文章标签： elk java linux
于 2024-01-17 17:40:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36249132/article/details/135643356
版权

contos7下ELK单机版搭建

服务器配置

基础信息

contos7系统 8核 32G内存 200G硬盘空间

调整服务器文件打开数量，使用 ulimit -n 查看
命令打开配置，拉倒最下方 添加如下代码

vi /etc/security/limits.conf

* soft nofile 65535
* soft nproc 65535
* hard nproc 65535
* hard nofile 65535

在这里插入图片描述
重启服务器使配置生效

reboot

tar包准备

服务器创建目录mkdir /home/elk 将tar包放入该目录下
tar包下载 因资源太大 分两次上传
elk全家桶1
elk全家桶2

使用版本为8.6.2

es

ElasticSearch5.0之后不能使用root账号启动，所以需要创建ES用户并设置密码

groupadd es
useradd es -g es
passwd es

在这里插入图片描述

进入/home/elk目录解压tar包

tar -zxvf elasticsearch-8.6.2-linux-x86_64.tar.gz

调整es解压文件位置,创建数据目录

mv elasticsearch-8.6.2 /home/es/
cd /home/es/elasticsearch-8.6.2/
mkdir data

备份配置文件并进行编辑

cd config/
cp elasticsearch.yml elasticsearch.ymlbak001
vi elasticsearch.yml

调整的配置, 配置中都有放开注释即可，或在最下方新增也可

node.name: node-es
path.data: /home/es/elasticsearch-8.6.2/data
path.logs: /home/es/elasticsearch-8.6.2/logs
network.host: 0.0.0.0
http.port: 9200

修改es用户权限 es不能使用root用户启动

chown -R es:es /home/es/elasticsearch-8.6.2/

调整用户并启动es ./elasticsearch -h为后台启动

cd ../bin/
su es
./elasticsearch

在这里插入图片描述

打开网址 要https
才可 如下图所示即为成功 https://172.27.6.44:9200/

在这里插入图片描述

扩展 配置中可关闭自动更新

cd /home/es/elasticsearch-8.6.2/config
vi elasticsearch.yml

#关闭更新配置
ingest.geoip.downloader.enabled: false
  1. 可修改elastic密码，在启动elasticsearch情况下，进入es的bin目录下执行
./elasticsearch-reset-password --username elastic -i

kibana–重新打开一个shell窗口

解压缩并指定目录

cd /home/elk/
tar -zxvf kibana-8.6.2-linux-x86_64.tar.gz
groupadd kibana
useradd -g kibana kibana
passwd kibana

mv kibana-8.6.2 /home/kibana/

编辑配置文件

cd /home/kibana/kibana-8.6.2/config
cp kibana.yml kibana.ymlbak001
vi kibana.yml

server.port: 5601
server.host: "0.0.0.0"
server.name: kibana
elasticsearch.hosts: ["http://172.27.6.44:9200/"]
#中文显示
i18n.locale: "zh-CN"

修改权限并启动

chown -R kibana:kibana /home/kibana/
su kibana
cd /home/kibana/kibana-8.6.2/bin
./kibana

错误（1）

Unable to retrieve version information from Elasticsearch nodes. socket hang up
在这里插入图片描述
解决：返回elasticsearch窗口， 修改配置文件将xpack.security.http.ssl.enabled改为false即可，修改后启动

vi /home/es/elasticsearch-8.6.2/config/elasticsearch.yml

在这里插入图片描述

错误（2）

Unable to retrieve version information from Elasticsearch nodes. security_exception: [security_exception] Reason: missing authentication credentials for REST request [/_nodes?filter_path=nodes..version%2Cnodes..http.publish_address%2Cnodes.*.ip]
在这里插入图片描述
解决 在elasticsearch中创建kibana用户
此时elasticsearch已启动，新打开shell窗口，进入用户es，进入bin目录

su es
cd /home/es/elasticsearch-8.6.2/bin/
./elasticsearch-reset-password --username kibana -i

添加用户密码后修改配置文件

vi /home/kibana/kibana-8.6.2/config/kibana.yml

elasticsearch.username: "kibana"
elasticsearch.password: "你设置的密码"

重启后登录网址http://172.27.6.44:5601/app/discover查看

输入elastic的账号密码
在这里插入图片描述

添加logstash集成

在这里插入图片描述
在这里插入图片描述

logstash

解压缩并指定目录

cd /home/elk/
tar -zxvf kibana-8.6.2-linux-x86_64.tar.gz
groupadd logstash
useradd -g logstash logstash
passwd logstash

mv logstash-8.6.2 /home/logstash/
cd /home/logstash/logstash-8.6.2

编写配置文件

cd config
vi filetoes.conf

input {
  file{
        path => "/home/testFile.txt"
		type => "log-file"
    }
}
output {
  elasticsearch {
    hosts => ["http://172.27.6.44:9200"]
    index => "log-file-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "设置的密码"
  }
}

切换用户启动该配置文件

chown -R logstash:logstash /home/logstash/
su logstash

/home/logstash/logstash-8.6.2/bin/logstash -f /home/logstash/logstash-8.6.2/config/filetoes.conf

添加测试内容看是否监听

新开shell窗口

cd /home
touch testFile.txt

使用 echo 添加内容

echo "hello word" >> testFile.txt

查看日志数据

登录 http://172.27.6.44:5601/app/discover 添加策略

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
至此es-kibana-logstash 联通，可直接使用（在logstash配置中配置不同数据源即可）或使用kafka作为数据中转

Zookeeper

配置jdk环境变量

cd /home/elk
tar -zxvf jdk-8u331-linux-x64.tar.gz
mkdir /home/java
mv jdk1.8.0_331 /home/java/
vi /etc/profile

export JAVA_HOME=/home/java/jdk1.8.0_331
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

source /etc/profile

解压缩zookeeper并编辑配置文件

cd /home/elk
tar -zxvf apache-zookeeper-3.8.3-bin.tar.gz
mkdir /home/zookeeper
mv apache-zookeeper-3.8.3-bin /home/zookeeper/
cd /home/zookeeper/apache-zookeeper-3.8.3-bin/
mkdir data logs
cd conf/
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

修改 dataDir 地址为 /home/zookeeper/apache-zookeeper-3.8.3-bin/data

# 修改 dataDir 地址为 /home/zookeeper/apache-zookeeper-3.8.3-bin/data
# 新增日志地址
datalogDir=/home/zookeeper/apache-zookeeper-3.8.3-bin/logs
# 新增服务器地址
server.1=172.27.6.44:2888:3888

进入bin目录启动zookeeper

　　./zkServer.sh start    启动zookeeper
　　./zkServer.sh stop     关闭zookeeper
　　./zkServer.sh status   查看zookeeper状态

kafka

解压缩kafka并编辑配置文件

cd /home/elk
tar -zxvf kafka_2.13-3.6.0.tgz
mkdir /home/kafka
mv kafka_2.13-3.6.0 /home/kafka/
cd /home/kafka/kafka_2.13-3.6.0/
mkdir logs
cd config/
cp server.properties server.propertiesbak001
vi server.properties

添加或修改如下字段–不能直接在最后添加

listeners=PLAINTEXT://172.27.6.44:9092
advertised.listeners=PLAINTEXT://172.27.6.44:9092
auto.create.topics.enable=true
log.dirs=/home/kafka/kafka_2.13-3.6.0/logs
zookeeper.connect=172.27.6.44:2181

进入kafka的bin目录 启动

cd ../bin/
./kafka-server-start.sh -daemon ../config/server.properties

冷知识 该版本命令为bootstrap-server

查看topic

# 原命令
./kafka-topics.sh --list --zookeeper 172.27.6.44:2181
# 当前版本使用命令
./kafka-topics.sh --list --bootstrap-server  172.27.6.44:9092

创建topic

./kafka-topics.sh --create --bootstrap-server 172.27.6.44:9092 --replication-factor 1 --partitions 1 --topic test

生产着

./kafka-console-producer.sh -bootstrap-server 172.27.6.44:9092 --topic test

消费者

./kafka-console-consumer.sh -bootstrap-server 172.27.6.44:9092 --topic test

logstash配置kafka到es

新开shell窗口

su logstash
cd /home/logstash/logstash-8.6.2/config
vi kafkatoes.conf

input {
  kafka {
    bootstrap_servers => "172.27.6.44:9092"
    topics => ["test"]
	client_id => "kafka-test"
	group_id => "kafka-test-group"
    consumer_threads => 2
    decorate_events => true
    type => "log-kafka-test"
	codec => json {
		charset => "UTF-8"
	}
  }
}
output {
  elasticsearch {
    hosts => ["http://172.27.6.44:9200"]
    index => "log-kafka-test-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "sxpt123456"
  }
}

kafka配置了codec => json 后 进入kafka的数据需均为json格式
启动logstash

/home/logstash/logstash-8.6.2/bin/logstash -f /home/logstash/logstash-8.6.2/config/kafkatoes.conf

kafka开启生产者模式,输入一条json数据

{"username":"张三","age":18}

进入http://172.27.6.44:5601/app/discover 添加策略并查看
在这里插入图片描述
看到数据显示了，至此 elk单机版集成kafka全部完成

开机自启动和启动脚本

确定开机启动的服务为es、kibana、logstash、zookeepre、kafka

zookeeper注册为服务并自启动

cd /etc/init.d
vi zookeeper

#!/bin/bash
#chkconfig:2345 20 90
#description:zookeeper
#processname:zookeeper
export JAVA_HOME=/home/java/jdk1.8.0_331
case $1 in
        start) su root /home/zookeeper/apache-zookeeper-3.8.3-bin/bin/zkServer.sh start;;
        stop) su root /home/zookeeper/apache-zookeeper-3.8.3-bin/bin/zkServer.sh stop;;
        status) su root /home/zookeeper/apache-zookeeper-3.8.3-bin/bin/zkServer.sh status;;
        restart) su /home/zookeeper/apache-zookeeper-3.8.3-bin/bin/zkServer.sh restart;;
        *) echo "require start|stop|status|restart" ;;
esac

给脚本添加执行权限

chmod +x zookeeper

执行脚本，验证一下

service zookeeper status
service zookeeper stop
service zookeeper start

添加到开机自启列表

# 添加开机自启
chkconfig --add zookeeper
# 状态设置为启动
chkconfig zookeeper on

kafka注册为服务并自启动

cd /etc/init.d
vi kafka


#!/bin/bash

# chkconfig: 2345 10 90 
# description: kafkaService ....

export JRE_HOME=/home/java/jdk1.8.0_331/jre
export JAVA_HOME=/home/java/jdk1.8.0_331
export PATH=$JAVA_HOME/bin:$PATH

case "$1" in
  start)
        /home/kafka/kafka_2.13-3.6.0/bin/kafka-server-start.sh -daemon /home/kafka/kafka_2.13-3.6.0/bin/config/server.properties
        ;;
  stop)
        /home/kafka/kafka_2.13-3.6.0/bin/kafka-server-stop.sh
        ;;
  restart)
        /home/kafka/kafka_2.13-3.6.0/bin/kafka-server-stop.sh
        sleep 3
        /home/kafka/kafka_2.13-3.6.0/bin/kafka-server-start.sh -daemon /home/kafka/kafka_2.13-3.6.0/bin/config/server.properties
        ;;
  status)
        echo "---------- Kafka 状态 ------------"
        count=$(ps -ef | grep kafka_2.13-3.6.0 | egrep -cv "grep|$$")
        if [ "$count" -eq 0 ];then
        	echo "kafka is not running"
    	else
        	echo "kafka is running"
    	fi
		;;
  *)
        echo $"Usage: $0 {start|stop|restart}"
        exit 1
esac

给脚本添加执行权限

chmod +x kafka

执行脚本，验证一下

service kafka stop
service kafka start

添加到开机自启列表

# 添加开机自启
chkconfig --add kafka
# 状态设置为启动
chkconfig kafka on

elasticsearch注册为服务并自启动

cd /etc/init.d
vi elasticsearch

#!/bin/sh
# chkconfig: - 85 15
#description: elasticsearch
export ES_HOME=/home/es/elasticsearch-8.6.2
 
case "$1" in
start)
    su es<<!
    cd $ES_HOME
    ./bin/elasticsearch -d -p pid
!
    echo "elasticsearch startup"
    ;;  
stop)
    kill -9 `cat $ES_HOME/pid`
    echo "elasticsearch stopped"
    ;;  
restart)
    kill -9 `cat $ES_HOME/pid`
    echo "elasticsearch stopped"
    su es<<!
    cd $ES_HOME
    ./bin/elasticsearch -d -p pid
!
    echo "elasticsearch startup"
    ;;  
status)
    echo "---------- elasticsearch 状态 ------------"
    count=$(ps -ef | grep elasticsearch-8.6.2 | egrep -cv "grep|$$")
    if [ "$count" -eq 0 ];then
       echo "elasticsearch is not running"
    else
       echo "elasticsearch is running"
    fi
	;;
*)
    echo "start|stop|restart"
    ;;  
esac
exit $?

给脚本添加执行权限

chmod +x elasticsearch

执行脚本，验证一下

service elasticsearch start
service elasticsearch stop

添加到开机自启列表

# 添加开机自启
chkconfig --add elasticsearch
# 状态设置为启动
chkconfig elasticsearch on

kibana注册为服务并自启动

在kibana.yml中配置pid文件

pid.file: /home/kibana/kibana-8.6.2/pid

cd /etc/init.d
vi kibana

#!/bin/bash
#chkconfig: 2345 55 27
#description: kibana
#processname: kibana

KIBANA_HOME=/home/kibana/kibana-8.6.2
start(){                                
        su - kibana -c "nohup $KIBANA_HOME/bin/kibana  >>/home/kibana/kibana-8.6.2/logs/kibana.log 2>&1 & echo \$! > $LOGSTASH_HOME/pid"
        echo "kibana is started"
}
stop(){
        kill -9 `cat $KIBANA_HOME/pid`
        echo "kibana is stopped"
}
status(){
        ps aux | grep $KIBANA_HOME
}
restart(){              
        stop
        sleep 1
        start
}
case "$1" in        
"start")
        start      
        ;;
"stop")            
        stop
        ;;
"status")
        status
        ;;
"restart")            
        restart
        ;;
*)      
        echo "支持指令：$0 start|stop|restart|status"
        ;;
esac

给脚本添加执行权限

chmod +x kibana

执行脚本，验证一下

service kibana start
service kibana stop

添加到开机自启列表

# 添加开机自启
chkconfig --add kibana
# 状态设置为启动
chkconfig kibana on

logstash注册为服务并自启动

cd /etc/init.d
vi logstash

#!/bin/bash
#chkconfig: 2345 60 35
#description: logstash
#processname: logstash

LOGSTASH_HOME=/home/logstash/logstash-8.6.2
start(){                                
        su - logstash -c "nohup $LOGSTASH_HOME/bin/logstash -f $LOGSTASH_HOME/config/kafkatoes.conf >> /dev/null 2>&1 & echo \$! > $LOGSTASH_HOME/pid" 
        echo "logstash is started"
}
stop(){
        kill -9 `cat $LOGSTASH_HOME/pid`
        echo "logstash is stopped"
}
status(){
        ps aux | grep $LOGSTASH_HOME
}
restart(){              
        stop
        sleep 1
        start
}
case "$1" in        
"start")
        start      
        ;;
"stop")            
        stop
        ;;
"status")
        status
        ;;
"restart")            
        restart
        ;;
*)      
        echo "支持指令：$0 start|stop|restart|status"
        ;;
esac

给脚本添加执行权限

chmod +x logstash

执行脚本，验证一下

service logstash start
service logstash stop

添加到开机自启列表

# 添加开机自启
chkconfig --add logstash
# 状态设置为启动
chkconfig logstash on
孤狼逐月
关注
  • 18
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
单机 安装 ELK 日志分析系统
TheFlsah的博客
03-25 493
一、ELK介绍 ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称，它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎，...
Centos7版本搭建Linux－Apache－PHP－Mysql环境
07-30
本文将指导读者在 Centos7 版本下搭建一个完整的 Linux-Apache-PHP-Mysql 环境，涵盖网络规划、操作系统安装、Apache、PHP、Mysql 的安装和配置等步骤。 一、网络规划 在搭建 Linux-Apache-PHP-Mysql 环境之前，...
centos7单机搭建elk
代码搬运工的博客
08-16 574
elasticsearch安装 下载elasticsearch安装包官网elk三件套下载 下载后使用tar -zxvf解压缩安装包，解压后进入目录，目录结构如下 bin目录存放了启动脚本，config目录存放了es相关的配置，启动之前进入config目录 目录内包含了以上的配置文件，这里只修改elasticsearch.yml配置文件，使用vim命令编辑 主要设置一下几个属性： cluster.name: dell-application # 节点名称 path.logs: /etc/elasticse
ELK在Centos7上单节点安装
m0_59770129的博客
02-22 201
ELK日志采集单节点安装及测试
docker-compose 搭建 单机版ELK
最新发布
qq_33090897的博客
05-23 1170
本次部署将使用ElasticSearch官方的镜像和Docker-Compose来创建单节点的ELK，用于学习ELK操作。在k8s集群内，如果每天的日志量超过20G以上，建议部署在k8s集群外部，以支持分布式集群的架构。在这种情况下，我们将采用有状态部署的方式，并且使用动态存储进行持久化。在运行该yaml文件之前，需要提前创建好存储类。本文档将仅使用常用的ElasticSearch + LogStash + Kibana组件。
ELK单机版安装部署
学渣程序员的博客
06-03 1157
ELK单机版安装部署 环境：centos7 elasticsearch安装 版本：7.13.0 下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.0-linux-x86_64.tar.gz 添加用户及用户组 groupadd elk useradd elk -g elk -p elk@2021 #root用户是不能直接启动elasticsearch的，需要新建用户,并且使用新建的用户启动es 上传到
rpm包安装ELK--单机
qq_39853326的博客
03-09 538
JDK部署 每台都要装，先查看版本是否已经是如下版本，如果不是再安装 rpm -ivh jdk-1.8.0-181.x86_64.rpm source /etc/profile #查看版本 [root@knode1 ~]# java -version java version "1.8.0_181" Java(TM) SE Runtime Environment (build 1.8.0_181-b13) Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13
Centos7下搭建ELK日志分析系统
11-02
【Centos7下搭建ELK日志分析系统】 ELK栈是日志管理和分析的强大工具，由Elasticsearch、Logstash、Kibana三个组件组成。Elasticsearch是一个分布式的实时搜索和分析引擎，用于存储、分析和检索大量数据。Logstash...
CentOS-7-i386-Minimal-2009.iso
07-23
CentOS 7.9版本（CentOS-7-i386-NetInstall-2009）适用于i386 CentOS是免费的、开源的、可以重新分发的开源操作系统，CentOS（Community Enterprise Operating System，中文意思是社区企业操作系统）是Linux发行版...
（CentOS7镜像）CentOS-7-x86-64-Minimal-2009.rar
09-06
【标题】"（CentOS7镜像）CentOS-7-x86-64-Minimal-2009.rar" 提供的是一个基于Linux发行版的CentOS 7的最小化安装镜像，适用于创建虚拟机环境。这个版本特别针对系统管理员和开发者设计，包含了运行操作系统最基本...
centos7 elk 部署全过程
03-25
elasticsearch6.5.4+logstash6.5.4+kibana6.5.4+log4j2 在sentos7上部署的全过程，包括过程中会遇到的问题及详解
CentOS7零基础部署ELK（7.2.0）集群步骤并监控日志告警
08-30
本人完全从Linux零基础一步步摸索总结出来的部署步骤。 ELK大致工作流程：Filebeat → Redis → Logstash → Elasticsearch → Kibana，Elastalert定时查询Elasticsearch保存的数据，当数据符合设定的规则时触发告警，发送 短信、微信、邮件通知。 ELK相关软件的版本都是7.2.0，Redis是5.0.4版本，Elastalert是0.1.39（需安装Python2），CentOS7.3。
centos8 ELK安装步骤以及相关注意点
05-22
CentOS 8 安装ELK 7.x 本次示例使用的是阿里云的机器，系统CentOS8 常见的问题的原因以及处理
CentOS-7-i386-NetInstall-2009.iso
07-23
CentOS 7.9版本（CentOS-7-i386-NetInstall-2009）适用于i386 CentOS是免费的、开源的、可以重新分发的开源操作系统，CentOS（Community Enterprise Operating System，中文意思是社区企业操作系统）是Linux发行版...
ELK的单机安装配置过程
点缀星辰
02-28 237
简介     最近在工作中需要对一些日志做分析，于是调研了一些日志记录和分析处理的工具。后面选择了ELK这个套件。ELK是三个开源软件的缩写，分别表示：Elasticsearch, Logstash, Kibana。其中Elasticsearch是用于实现索引和搜索功能目的，Logstash是一个很灵活的日志收集和处理工具。Kibana是和Elasticsearch配套的图形展示界面，用于方...
单机部署ELK
Richardlygo的博客
07-08 352
对于一个体量不大的系统，运行在单机上的 ELK 就足以胜任日志的处理任务了。本文介绍如何在单台服务器上安装并配置 ELK(elalasticsearch + logstash + kibana)，并最终通过 filebeat 把日志数据发送给日志服务器(ELK)。整体的架构如下图所示(此图来自互联网)： 本文的演示环境为 Ubuntu Server 18.04，ELK 和 filebeat ...
centos7使用docker compose部署ELK
u010029821的博客
06-01 1119
使用docker compose配置elk读取日志文件推送到es服务查看
Linux单机部署ELK及简单使用
xiaosong2471的博客
06-21 741
注意：注意：如果同时定义了 include_lines 和 exclude_lines，Filebeat 将首先执行 include_lines，然后再执行 exclude_lines。定义两个选项的顺序无关紧要。默认情况下，所有行均被导出,空行将被忽略，如果指定了多行设置，则在通过 include_lines 过滤行之前，将每条多行消息合并为一行。e)tail_files: 默认false，配置true后，采集文件从时间最新往前采集，该属性经常使用，若不配置采集文件会因为原文件太大传输太慢。
ELK单机环境搭建
wwwwww12432的博客
11-30 2338
linux下ELK环境搭建

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值