ELK部署脚本---亲测可用

已于 2023-01-03 11:48:11 修改
阅读量727 收藏 1
点赞数 5
文章标签： elk
于 2022-07-30 11:19:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28608175/article/details/126069439
版权

环境：centos7.9  &&  网络通畅

注意事项：部分扩展需要连接github网站，你懂的，可能导致部分插件安装失败，可以在脚本执行中跳过，待网络良好时再安装。操作方法文后给出。

架构：两台elasticsearch（分别对应两个节点脚本）；一台logstash，对应加入日志管理的机器。

废话少说，直接上脚本：

elasticsearch-node1脚本：（脚本运行中会提示你输入部分信息如IP，日志文件路径以及日志文件类型等）

#!/bin/bash
#function:ELK-YUM-node1
#author:tommypeng  20220729
#####root判断#####
if
  [  "$USER"  != "root"   ]
then
   echo "错误：非root用户，权限不足！"
  exit  0
fi
###############防火墙及SElinux############
systemctl stop firewalld && systemctl disable firewalld  && echo "防火墙已经关闭"
sed -i 's/SELINUX=.*/SELINUX=disabled/g'  /etc/selinux/config  && echo "关闭selinux"
##############网络测试##############
ping   -c  3  www.baidu.com
if
  [ $? = 0 ]
  then
    echo "外网通讯良好！"
  else
    echo  "丫的你在逗我吗？网都没有安装个毛线！"
   exit  1
fi
##############yum源配置################
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch   &&
cat >> /etc/yum.repos.d/elasticsearch.repo  << EOF
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
EOF
sleep  5
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch   &&
cat >> /etc/yum.repos.d/logstash.repo  <<  EOG
[logstash-2.1]
name=Logstash repository for 2.1.x packages
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
EOG
sleep 5
###############jdk###############
yum install java -y
############elasticsearch################# 
yum install elasticsearch -y
if [ $? -eq 0 ];then             
                	echo -e "\n\033[32m-----------------------------------------------\033[0m"
                	echo -e "\033[32melasticsearch安装成功 !\033[0m"
        	else
                	echo -e "\033[32mmelasticsearch安装失败，即将退出 !"
                	exit 0
        	fi
cp  /etc/elasticsearch/elasticsearch.yml   /etc/elasticsearch/elasticsearch.yml.bak  &&  rm  -rf  /etc/elasticsearch/elasticsearch.yml
read -p "请输入另一台ES节点的IP"   KIP
cat >> /etc/elasticsearch/elasticsearch.yml  << EOG
cluster.name: test
node.name: test-1
path.data: /data/es-data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["127.0.0.1", "$KIP"]
EOG
sleep 5
#cat >> /etc/security/limits.conf << EOF
#elasticsearch  soft  memlock  unlimited  
#elasticsearch  hard  memlock  unlimited 
#EOF
mkdir -p /data/es-data    &&  chown -R  elasticsearch:elasticsearch /data/es-data 
sleep 5   
systemctl start elasticsearch.service
if [ $? -eq 0 ];then             
                	echo -e "\n\033[32m-----------------------------------------------\033[0m"
                	echo -e "\033[32melasticsearch启动成功 !\033[0m"
        	else
                	echo -e "\033[32mmelasticsearch启动失败，继续安装，请在脚本运行完成后手动启动 !"
        	fi
##############head##########
cd  /usr/share/elasticsearch/  &&   /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head
##/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head
#sleep 5
IP=$(ip a  | grep "inet "|grep "ens33" | awk '{print $2}'| awk -F / '{print $1}')
echo "登录http://$IP:9200/_plugin/head/访问您的elasticsearch "
sleep  5
############kopf##############
cd  /usr/share/elasticsearch/  &&   /usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf
echo "登录http://$IP:9200/_plugin/kopf 查看节点负载  "
sleep  5
 ##############logstash#############
yum install logstash -y
sleep 5
ln -s /opt/logstash/bin/logstash /usr/bin/
read -p  "请输入您要监控的本机日志文件路径"  PPO
read -p  "请输入您要监控的本机日志文件类型(对应ES索引）"  WOKAO
cat >> /opt/logstash/bin/file.conf  << EOG
input {
      file {
          path => "$PPO"
          type => "$WOKAO"
          start_position => "beginning"
      }
}

output {
     elasticsearch {
          hosts => ["$IP:9200"]
          index => "$WOKAO-%{+YYYY.MM.dd}"
     }
}
EOG
systemctl  start logstash  
sleep 5
systemctl  restart logstash 
cd /opt/logstash/bin/   &&  /opt/logstash/bin/logstash -f file.conf&
###########kibana##################
cd ~
wget https://download.elastic.co/kibana/kibana/kibana-4.3.1-linux-x64.tar.gz
tar zxvf kibana-4.3.1-linux-x64.tar.gz -C /opt/  &&  mv /opt/kibana-4.3.1-linux-x64/ /opt/kibana/
cat  >> /opt/kibana/config/kibana.yml << EOF
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://$IP:9200"
kibana.index: ".kibana"
EOF
/opt/kibana/bin/kibana   
echo "登录http://$IP:9200/_plugin/head/访问您的elasticsearch "
echo "访问http://$IP:5601 来查看管理您的日志吧 "

elasticsearch-node2脚本：

#!/bin/bash
#function:ELK-YUM-note2
#author:tommypeng  20220729
#####root判断#####
if
  [  "$USER"  != "root"   ]
then
   echo "错误：非root用户，权限不足！"
  exit  0
fi
###############防火墙及SElinux############
systemctl stop firewalld && systemctl disable firewalld  && echo "防火墙已经关闭"
sed -i 's/SELINUX=.*/SELINUX=disabled/g'  /etc/selinux/config  && echo "关闭selinux"
##############网络测试##############
ping   -c  3  www.baidu.com
if
  [ $? = 0 ]
  then
    echo "外网通讯良好！"
  else
    echo  "丫的你在逗我吗？网都没有安装个毛线！"
   exit  1
fi
##############yum源配置################
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch   &&
cat >> /etc/yum.repos.d/elasticsearch.repo  << EOF
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
EOF
sleep  5
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch   &&
cat >> /etc/yum.repos.d/logstash.repo  <<  EOG
[logstash-2.1]
name=Logstash repository for 2.1.x packages
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
EOG
sleep 5
###############jdk###############
yum install java -y
############elasticsearch################# 
yum install elasticsearch -y
cp  /etc/elasticsearch/elasticsearch.yml   /etc/elasticsearch/elasticsearch.yml.bak
read -p "请输入另一台ES节点的IP"   KIP
cat >> /etc/elasticsearch/elasticsearch.yml  << EOG
cluster.name: test
node.name: test-2
path.data: /data/es-data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["127.0.0.1", "$KIP"]
EOG
sleep 5
###mkdir -p /data/es-data  
sleep 5
#cat >> /etc/security/limits.conf << EOF
#elasticsearch  soft  memlock  unlimited  
#elasticsearch  hard  memlock  unlimited 
#EOF
mkdir -p /data/es-data    &&  chown -R  elasticsearch:elasticsearch /data/es-data 
sleep 5   
systemctl start elasticsearch.service  ###启动###
##############head##########
cd  /usr/share/elasticsearch/
/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head
#sleep 5
IP=$(ip a  | grep "inet "|grep "ens33" | awk '{print $2}'| awk -F / '{print $1}')
echo "登录http://$IP:9200/_plugin/head/访问您的elasticsearch "
############kopf##############
cd  /usr/share/elasticsearch/
/usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf
###echo "登录http://$IP:9200/_plugin/kopf 查看节点负载  "
##############logstash#############
yum install logstash -y
sleep 5
ln -s /opt/logstash/bin/logstash /usr/bin/
read -p  "请输入您要监控的本机日志文件路径"  PPO
read -p  "请输入您要监控的本机日志文件类型（对应ES索引）"  WOKAO
read -p  "请输入ES节点1的IP"  HAOSHUAI
cat >> /opt/logstash/bin/file.conf  << EOG
input {
      file {
          path => "$PPO"
          type => "$WOKAO"
          start_position => "beginning"
      }
}

output {
     elasticsearch {
          hosts => ["$HAOSHUAI:9200"]
          index => "$WOKAO-%{+YYYY.MM.dd}"
     }
}
EOG
systemctl  start logstash  
sleep 5
systemctl  restart logstash 
cd /opt/logstash/bin/
/opt/logstash/bin/logstash -f file.conf&

logstash脚本：该脚本用来将相应的服务器主机的日志输出到ELK。

举个例子，你新上线了一台服务器，想监控系统日志，那么运行该脚本时出现提示输入以下信息即可：

提示"请输入您要监控的本机日志文件路径"   您输入 /var/log/messages  （这个就是系统日志路径）
提示 "请输入您要监控的本机日志文件类型(对应ES索引）"  system

提示"请输入ES节点1的IP"    输入对应的节点IP即可。

请注意：在ES脚本中也有相关提示输入，按实际情况输入即可。

#!/bin/bash
#function:ELK-YUM-logstash
#author:tommypeng  20220729
#####root判断#####
if
  [  "$USER"  != "root"   ]
then
   echo "错误：非root用户，权限不足！"
  exit  0
fi
###############防火墙及SElinux############
systemctl stop firewalld && systemctl disable firewalld  && echo "防火墙已经关闭"
sed -i 's/SELINUX=.*/SELINUX=disabled/g'  /etc/selinux/config  && echo "关闭selinux"
##############网络测试##############
ping   -c  3  www.baidu.com
if
  [ $? = 0 ]
  then
    echo "外网通讯良好！"
  else
    echo  "丫的你在逗我吗？网都没有安装个毛线！"
   exit  1
fi
##############yum源配置################
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch   &&
cat >> /etc/yum.repos.d/logstash.repo  <<  EOG
[logstash-2.1]
name=Logstash repository for 2.1.x packages
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
EOG
sleep 5
##############logstash#############
yum install logstash -y
sleep 5
ln -s /opt/logstash/bin/logstash /usr/bin/
read -p  "请输入您要监控的本机日志文件路径"  PPO
read -p  "请输入您要监控的本机日志文件类型（对应ES索引）"  WOKAO
read -p  "请输入ES节点1的IP"  HAOSHUAI
cat >> /opt/logstash/bin/file.conf  << EOG
input {
      file {
          path => "$PPO"
          type => "$WOKAO"
          start_position => "beginning"
      }
}

output {
     elasticsearch {
          hosts => ["$HAOSHUAI:9200"]
          index => "$WOKAO-%{+YYYY.MM.dd}"
     }
}
EOG
systemctl  start logstash  
sleep 5
systemctl  restart logstash 
cd /opt/logstash/bin/
/opt/logstash/bin/logstash -f file.conf&

填坑：

重新安装head扩展命令：

cd  /usr/share/elasticsearch/  &&  /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head

重新安装kopf扩展命令：

cd  /usr/share/elasticsearch/  &&/  usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf

脚本运行有其他问题请私信沟通。

IT大白鼠
关注
  • 5
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
ELK日志分析平台一键部署脚本
08-01
ELK日志分析平台一键部署脚本 架构：logstash+elasticsearch+kibana 功能：shell脚本一键部署 亲测有用！！！
shell-一键安装ELK脚本
锦衣沙漠的运维博客
06-28 817
安装环境 系统 :centos7 软件信息: lasticsearch-6.6.2.rpm jdk-8u131-linux-x64_.rpm kibana-6.6.2-x86_64.rpm logstash-6.6.0.rpm 提醒信息 请提前写配置文件,并保证配置文件与脚本处于同一目录内 以及四个安装包 配置文件 vim messages.conf input { file { path = varlogmessages type ...
ELK快速搭建图文详细步骤
最新发布
Huisoul的博客
03-20 1205
ELK快速搭建图文详细步骤
(十一) ELK快速入门
taoge512的博客
05-11 995
本文为学习笔记，主要用于记录本人学习过程。部分内容为转载！！！！. ELK快速入门一-基本部署 ELK简介 什么是ELK？通俗来讲，ELK是由Elasticsearch、Logstash、Kibana三个开源软件组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK又称ELKstack，官网https://www.elastic.co/，ELK主要优点有如下几个： 1、处理方式灵活：elasticsearch是实时全文索引，具有强大的搜索功能 2、配置相对简单：elasticse...
脚本安装elk
欢迎查阅
12-03 401
脚本安装elk1. 安装elasticsearch+filebeat+kibana(6.6.0)tar的安装包2. rpm的安装方式（elasticsearch+filebeat+kibana）6.8..0 1. 安装elasticsearch+filebeat+kibana(6.6.0)tar的安装包 elasticsearch不能使用root用户所以我们使用的elk用户启动 关闭pkill #!/bin/bash yum install -y java-1.8.0-openjdk.x86_64 &am
ELK安装部署实践
进击鱼的博客
08-26 412
内容概要： 1.支持通过脚本一件安装部署ELK 2.支持Python语言进行数据入库 3.支持通过配置文件进行HA部署
Docker-compose部署ELK的示例代码
09-29
主要介绍了Docker-compose部署ELK的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
elk的docker-compose配置
12-17
使用docker-compose 搭建elk日志系统.使用docker-compose 搭建elk日志系统
elk6.6.2 x-apck破解
03-25
6.6.2版本elk x-pack破解，亲测可用，仅用于个人测试。
kibana中文指南 ELK-guide-cn.rar
07-20
ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用 本书知识主要针对的具体版本号： Logstash-1.5 Elasticsearch-1.7 Kibana-4.3
elk-stack-mongo-node-docker
05-13
elk-stack-mongo-node-docker
docker一键部署ELK日志系统
weixin_44770684的博客
04-07 421
使用容器化快速部署ELK日志系统，方便一些初学者能够快速的认识和接触ELK日志系统。2、ELK一键部署脚本。1、安装docker。
ELK简单部署与使用
makabaka1234的博客
11-05 855
基于es、kibana、logstash的ELK简单部署与使用
ELK一键部署脚本
Stars1sea的博客
09-26 237
ELK部署脚本
ELK日志分析（二）之ELK搭建部署
S314118142的博客
10-13 719
Logstash配置文件基本由三部分组成（根据需要选择使用）input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。修改Logstash配置文件，让其收集系统日志/var/log/messages，并将其输出到Elasticsearch中。
ELK一站式安装，以及基本使用
baiyitan的博客
10-26 686
ELK搭建
elasticsearch logstash kibana elk集群搭建一键安装脚本
wayds的博客
12-27 1446
一、 前言        很多朋友在刚接触elk的时候，搭建测试集群会出现各种各样的问题，这里，我编写了一份elk集群安装脚本，分分钟让你完成elk的搭建。 二、前期准备  我测试环境是centos7.2 ，在脚本中启动es和kibana的命令使用的是systemctl，使用centos6 的同学，自行修改。  脚本中会自动安装jdk1.8，请各位配置好yum源，没有yum的同...
ELK日志分析平台部署脚本总结
大江东去
07-29 282
一、一键自动安装脚本——elasticsearch、logstash、kibana： #!/bin/bash export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin export JAVA_HOME=/opt/es/jdk export PATH=$JAVA_HOME/bin:$PATH alias mv='mv' alias rm='rm' if [ "$(free -g|awk '/^Mem/{.
ELK部署
weixin_47605171的博客
05-25 190
3、新建elk用户组,新增es用户 ,并赋予权限,切换es用户并启动(root用户启动会报错)1、查看/etc/security/limits.conf文件是否配置了最大的文件描述配置。logstash.conf内容(x.x.x.x 是当前服务器的IP地址,根据实际情况填写)后续方便三个服务统一启动,将elk用户组中的es用户赋予elk的文件夹的所有权限。打开elk的对应的端口(9200,8250,5601)并重启防火墙。5、查看运行日志是否报错(无报错,启动成功)进入/data目录,并新建elk文件夹。
ubuntu elk一键部署脚本
08-15
Ubuntu ELK一键部署脚本是一个用于在Ubuntu操作系统上快速安装并配置ELK（Elasticsearch、Logstash和Kibana）软件包的工具。ELK是一个强大的开源日志聚合和分析解决方案，由Elasticsearch负责存储和索引日志数据，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT大白鼠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值