脚本安装elk

最新推荐文章于 2023-09-27 09:15:57 发布
最新推荐文章于 2023-09-27 09:15:57 发布
阅读量415 收藏 1
点赞数
分类专栏： elasticsearch+elk 文章标签： elk elasticsearch linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ncnhhm/article/details/121693380
版权

脚本安装elk

1. 安装elasticsearch+filebeat+kibana(6.6.0)tar的安装包

架构图
在这里插入图片描述

elasticsearch不能使用root用户所以我们使用的elk用户启动
关闭pkill

#!/bin/bash 
yum install -y java-1.8.0-openjdk.x86_64 &>/dev/null
yum -y install net-tools &>/dev/null
IP=`ifconfig eth0 |awk 'NR==2 {print $2}'`
echo "$IP"
mkdir /elk
cd /elk 
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.6.0-linux-x86_64.tar.gz  &>/dev/null
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.tar.gz  &>/dev/null
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-linux-x86_64.tar.gz  &>/dev/null
echo "download is ok"
tar xf kibana-6.6.0-linux-x86_64.tar.gz  &>/dev/null
tar xf elasticsearch-6.6.0.tar.gz  &>/dev/null
tar xf filebeat-6.6.0-linux-x86_64.tar.gz  &>/dev/null
mv kibana-6.6.0-linux-x86_64  kibana  &>/dev/null
mv elasticsearch-6.6.0 elasticsearch &>/dev/null
mv filebeat-6.6.0-linux-x86_64 filebeat &>/dev/null

id elk 
if [ $? -eq 1 ];then 
useradd elk
fi

##ela的配置文件
mkdir -p /elk/data/elastic/data &>/dev/null
mkdir -p /elk/data/elastic/log  &>/dev/null
cat > /elk/elasticsearch/config/elasticsearch.yml<<EOF
node.name: node-1
path.data: /elk/data/elastic/data
path.logs: /elk/data/elastic/log
bootstrap.memory_lock: true
network.host: localhost,${IP}
http.port: 9200
EOF
##系统优化
cat >>/etc/security/limits.conf <<EOF
elk soft nofile 65536
elk hard nofile 65536
elk  soft nproc 65536
elk  hard nproc 65536
elk hard memlock unlimited
elk soft memlock unlimited
EOF

echo 'vm.max_map_count=262144' >> /etc/sysctl.conf

cat >> /etc/systemd/system.conf<<EOF
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity
EOF

##filebeat的配置文件
cat > /elk/filebeat/filebeat.yml<<EOF
filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
setup.kibana:
  host: "${IP}"
output.elasticsearch:
  hosts: ["${IP}:9200"]
  index: "nginx-%{[beat.version]}-%{+yyyy.MM}"
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
EOF


##kibana的配置文件

cat > /elk/kibana/config/kibana.yml<<EOF
server.port: 5601
server.host: "${IP}"
elasticsearch.hosts: ["http://${IP}:9200"]
kibana.index: ".kibana"
EOF

chown -R elk. /elk

echo "配置完成"
menu(){
cat <<EOF
=========================================================
配置完成，启动请使用以下命令
1.reboot
2.用户切换  su - elk 
3.elastaisearch的启动 /elk/elasticsearch/bin/elastaisearch &>/dev/null
4.filebeat的启动 /elk/filebat/filebeat -e -c /elk/filebat/filebeat.yml &>/dev/null &
5. kibana启动 /elk/kibana/bin/kibnan &>/dev/null &
=========================================================
EOF
}
menu

2. rpm的安装方式（elasticsearch+filebeat+kibana）7.0.0

在这里插入图片描述

与6.0的创建的自己的index区别
https://www.jianshu.com/p/a3941dfa205c
官网
https://www.elastic.co/guide/en/beats/filebeat/7.0/ilm.html

6.的索引

 index: "nginx-%{[beat.version]}-%{+yyyy.MM}"

7 的还要注意ilm

index: "nginx-%{[agent.version]}-%{+yyyy.MM}"

脚本

#!/bin/bash 
##rpm的安装方式7.0.0 elasticsearch+filebeat+kibana
mkdir /opt/soft 
cd /opt/soft 
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.0-x86_64.rpm &>/dev/null
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.0.0-x86_64.rpm &>/dev/null
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.0.0-x86_64.rpm &>/dev/null
echo "download os ok !!"

##安装
rpm -ivh  elasticsearch-7.0.0-x86_64.rpm &>/dev/null
rpm -ivh filebeat-7.0.0-x86_64.rpm &>/dev/null
rpm -ivh kibana-7.0.0-x86_64.rpm &>/dev/null
echo "rpm is ok"
IP=`hostname -I|awk '{print $1}'`
##配置文件
##elasticsearch的配置文件
cat > /etc/elasticsearch/elasticsearch.yml<<EOF
node.name: node-1
path.data: /data/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: ${IP},127.0.0.1
http.port: 9200
EOF

mkdir -p /data/elasticsearch
chown -R elasticsearch. /data/elasticsearch
##系统的优化
cat >>/etc/security/limits.conf <<EOF
elasticsearch  soft nofile 65536
elasticsearch hard nofile 65536
elasticsearch  soft nproc 65536
elasticsearch  hard nproc 65536
elasticsearch hard memlock unlimited
elasticsearch soft memlock unlimited
EOF

echo 'vm.max_map_count=262144' >> /etc/sysctl.conf

cat >> /etc/systemd/system.conf<<EOF
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity
EOF

cat<<eof
===========================
手动的修改内存锁定
修改内存锁定
systemctl edit elasticsearch
添加
[Service]
LimitMEMLOCK=infinity
============================
eof

##filebeat的配置文件
cat > /etc/filebeat/filebeat.yml<<EOF
filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
setup.kibana:
  host: "${IP}:5601"
output.elasticsearch:
  hosts: ["${IP}:9200"]
  index: "nginx-%{[agent.version]}-%{+yyyy.MM}"
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
setup.ilm.enabled: false
EOF
##kibana的配置文件
cat > /etc/kibana/kibana.yml<<EOF
server.port: 5601
server.host: "${ip}"
elasticsearch.hosts: ["http://${IP}:9200"]
kibana.index: ".kibana"
EOF

echo "配置完成最好重启一下"
cat<<eof
1.ela的启动命令
systemctl daemon-reload
systemctl start elasticsearch

2.filebeat的启动命令
systemctl start filebeat

3.kibana的启动命令 
systemctl start kibana
eof

3. rpm 安装 elasticsearch+filebeat+logstash+kibana

架构图
在这里插入图片描述

安装前：

java环境，7.0以后的版本需要jdk9以上的

解释
filebeat的配置文件

filebeat.inputs:
- type: log
  enabled: true        启用输入
  backoff: "1s"         每1秒就检查更新
  tail_files: false     禁止从头开始读取数据
  paths:
    - /var/log/nginx/access.log
  fields:
    filetype: log_nginxjson       类似于定义一个标签，可以在logstash中进行识别
  fields_under_root: true         定义了fields必须的设置
- type: log
  enabled: true
  backoff: "1s"
  tail_files: false
  paths:
    - /var/log/messages
  fields:
    filetype: log_system
  fields_under_root: true
output.logstash:             输出到logstash
  enabled: true               
  hosts: ["${IP}:5044"]        ip地址和算口号，与下方的logstash的保持一致

logstash的配置文件
https://www.elastic.co/guide/en/beats/filebeat/7.0/logstash-output.html

input {
    从filebeat取数据，端口与filebeat配置文件一致
   beats {
     host => "0.0.0.0"
     port => 5044
   }
}
filter {
        过滤作用
    if [filetype] == "log_nginxjson"{
      json {
         source => "message"
          移除不要的选项
         remove_field => ["beat","offset","tags","prospector"]
      }
      date {
      匹配timestamp字段
      将匹配的字段写入到timesamp
        match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"] 
        target => "@timestamp"
      }
  }
}
 
output {
        输出给elasticsearch
       if [filetype] == "log_nginxjson" {
         elasticsearch {
            hosts => ["${IP}:9200"]
            index => "nginx-%{+YYYY.MM.dd}"
        }
       } else if [filetype] == "log_system" {
         elasticsearch {
            hosts => ["${IP}:9200"]
            index => "msg-%{+YYYY.MM.dd}"
        }
       }
}

#!/bin/bash 
##rpm的安装方式7.0.0 elasticsearch+filebeat+kibana
mkdir /opt/soft 
cd /opt/soft 
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.0-x86_64.rpm &>/dev/null
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.0.0-x86_64.rpm &>/dev/null
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.0.0-x86_64.rpm &>/dev/null
echo "download os ok !!"

##安装
rpm -ivh  elasticsearch-7.0.0-x86_64.rpm &>/dev/null
rpm -ivh filebeat-7.0.0-x86_64.rpm &>/dev/null
rpm -ivh kibana-7.0.0-x86_64.rpm &>/dev/null
echo "rpm is ok"
IP=`hostname -I|awk '{print $1}'`
##配置文件
##elasticsearch的配置文件
cat > /etc/elasticsearch/elasticsearch.yml<<EOF
node.name: node-1
path.data: /data/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: ${IP},127.0.0.1
http.port: 9200
EOF

mkdir -p /data/elasticsearch
chown -R elasticsearch. /data/elasticsearch
##系统的优化
cat >>/etc/security/limits.conf <<EOF
elasticsearch  soft nofile 65536
elasticsearch hard nofile 65536
elasticsearch  soft nproc 65536
elasticsearch  hard nproc 65536
elasticsearch hard memlock unlimited
elasticsearch soft memlock unlimited
EOF

echo 'vm.max_map_count=262144' >> /etc/sysctl.conf

cat >> /etc/systemd/system.conf<<EOF
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity
EOF

cat<<eof
===========================
手动的修改内存锁定
修改内存锁定
systemctl edit elasticsearch
添加
[Service]
LimitMEMLOCK=infinity
============================
eof

##filebeat的配置文件
cat > /etc/filebeat/filebeat.yml<<EOF
filebeat.inputs:
- type: log
  enabled: true
  backoff: "1s"
  tail_files: false
  paths:
    - /var/log/nginx/access.log
  fields:
    filetype: log_nginxjson
  fields_under_root: true
- type: log
  enabled: true
  backoff: "1s"
  tail_files: false
  paths:
    - /var/log/messages
  fields:
    filetype: log_system
  fields_under_root: true
output.logstash:
  enabled: true
  hosts: ["${IP}:5044"]

EOF
##kibana的配置文件
cat > /etc/kibana/kibana.yml<<EOF
server.port: 5601
server.host: "${IP}"
elasticsearch.hosts: ["http://${IP}:9200"]
kibana.index: ".kibana"
EOF

##logstash的安装
#!/bin/bash 
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.0.0.rpm &>/dev/null
rpm -ivh logstash-7.15.2-x86_64.rpm  &>/dev/null
cat > /etc/logstash/conf.d/filebeat.conf<<EOF
input {
   beats {
     host => "0.0.0.0"
     port => 5044
   }
}
filter {
    if [filetype] == "log_nginxjson"{
      json {
         source => "message"
         remove_field => ["beat","offset","tags","prospector"]
      }
      date {
        match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"] 
        target => "@timestamp"
      }
  }
}
 
output {
       if [filetype] == "log_nginxjson" {
         elasticsearch {
            hosts => ["${IP}:9200"]
            index => "nginx-%{+YYYY.MM.dd}"
        }
       } else if [filetype] == "log_system" {
         elasticsearch {
            hosts => ["${IP}:9200"]
            index => "msg-%{+YYYY.MM.dd}"
        }
       }
}
EOF

echo "配置完成最好重启一下"
cat<<eof
1.ela的启动命令
systemctl daemon-reload
systemctl start elasticsearch

2.filebeat的启动命令
systemctl start filebeat

3.kibana的启动命令 
systemctl start kibana

4.logstash的启动
systemctl start logstash
eof
长安有故里y
关注
专栏目录
elk安装脚本
02-14
elk工具自自动化部署安装脚本 一件执行安装非常方便
RELK.sh:使用中央日志服务器 (CentOS 6 RHEL6) 的一个脚本安装 ELK 堆栈（使用 Redis）
06-23
使用中央日志服务器的一个脚本安装 ELK 堆栈（使用 Redis）（仅适用于 CentOS 6.5）。 使用以下行（记得阅读 RELK.sh 文件的注释）： curl -k ...
ELK自动安装脚本
weixin_33851429的博客
09-11 201
ELK自动安装脚本一、简介ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用kibana ...
ELK部署脚本---亲测可用
彭大帅的博客
07-30 809
注意事项部分扩展需要连接gethub网站，你懂的，可能导致部分插件安装失败，可以在脚本执行中跳过，待网络良好时再安装。elasticsearch-node1脚本（脚本运行中会提示你输入部分信息如IP，日志文件路径以及日志文件类型等）提示"请输入您要监控的本机日志文件类型(对应ES索引）"system。logstash脚本该脚本用来将相应的服务器主机的日志输出到ELK。提示"请输入ES节点1的IP"输入对应的节点IP即可。请注意在ES脚本中也有相关提示输入，按实际情况输入即可。................
ELK 7.16.1 最新一键安装铂金离线包
12-18
通常，这包括下载ELK各组件的离线包，然后在目标服务器上运行安装脚本。安装过程可能会涉及解压文件、配置环境变量、启动服务和验证安装。对于大型企业或安全性要求高的环境，离线安装可以避免网络中的潜在风险。 *...
ELK日志分析平台一键部署脚本
08-01
ELK日志分析平台一键部署脚本 架构：logstash+elasticsearch+kibana 功能：shell脚本一键部署 亲测有用！！！
ELK一键部署脚本
Stars1sea的博客
09-26 337
ELK部署脚本
elasticsearch logstash kibana elk集群搭建一键安装脚本
wayds的博客
12-27 1480
一、 前言        很多朋友在刚接触elk的时候，搭建测试集群会出现各种各样的问题，这里，我编写了一份elk集群安装脚本，分分钟让你完成elk的搭建。 二、前期准备  我测试环境是centos7.2 ，在脚本中启动es和kibana的命令使用的是systemctl，使用centos6 的同学，自行修改。  脚本中会自动安装jdk1.8，请各位配置好yum源，没有yum的同...
ELK全套安装包
12-13
ELK全套安装包（elasticsearch-2.3.1.tar.gz；logstash-2.3.1.tar.gz；kibana-4.5.0-linux-x64.tar.gz）
一键安装elk-7.7.1
01-20
一键安装elk-7.7.1
elasticsearch-7.7(内含一键安装脚本)
07-18
elasticsearch-7.7(内含一键安装脚本)
ELK（elasticsearch kibana Logstash）（脚本安装）
weixin_72034652的博客
09-27 150
二、ELK架构在ELK架构中，Elasticsearch、Logstash和Kibana三款软件作用如下：Elasticsearch是一个高度可扩展的全文搜索和分析引擎，基于Apache Lucence（事实上，Lucence也是百度所采用的搜索引擎）构建，能够对大容量的数据进行接近实时的存储、搜索和分析操作。2、LogstashLogstash是一个数据收集引擎，它可以动态的从各种数据源搜集数据，并对数据进行过滤、分析和统一格式等操作，并将输出结果存储到指定位置上。
shell-一键安装ELK脚本
锦衣沙漠的运维博客
06-28 873
安装环境 系统 :centos7 软件信息: lasticsearch-6.6.2.rpm jdk-8u131-linux-x64_.rpm kibana-6.6.2-x86_64.rpm logstash-6.6.0.rpm 提醒信息 请提前写配置文件,并保证配置文件与脚本处于同一目录内 以及四个安装包 配置文件 vim messages.conf input { file { path = varlogmessages type ...
elk安装
小船的专栏
09-06 639
1. 下载elk安装包     [root@k8smaster1 ~]# ls     elasticsearch-5.5.2.rpm  kibana-5.5.2-x86_64.rpm  logstash-5.5.2.rpm 2. 安装elk安装包    [root@k8smaster1 ~]# rpm -ivh logstash-5.5.2.rpm  warning: logstash
ELK自动部署脚本
weixin_38920945的博客
01-09 180
ELK自动安装脚本一、简介ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用kibana ...
elk集群部署脚本
zy_xingdian的博客
09-14 293
#!/bin/bash red_col="\e[1;31m" blue_col="\e[1;34m" reset_col="\e[0m" es=elasticsearch-6.5.4.tar.gz jdk=jdk-8u191-linux-x64.tar.gz ka=kafka_2.11-2.1.0.tgz ki=kibana-6.5.4-linux-x86_64.tar.gz he=master.zip node=node-v4.4.7-linux-x64.tar.gz ph=phantomjs-2.1.1
在MHN上安装ELK
jackghq的博客
02-21 1996
下载MHN的源码后用里面的安装脚本安装MHN，接着再继续用里面的install_elk.sh安装脚本安装ELK（MHN和ELK均在ubuntu下用root用户安装）。以上均安装在ip为ipx的虚拟机里。 默认安装后不能访问http://ipx:9200（elasticsearch默认端口）和http://ipx:5601 （kibana默认端口），只能在虚拟机中访问http://127.0.0.
elk 脚本一键安装
最新发布
11-14
ELK 一键安装脚本可以大大简化 ELK 的安装过程，提高安装效率。具体步骤如下： 1. 下载脚本：首先需要从官方网站或者第三方源中下载相应的 ELK 一键安装脚本文件。 2. 安装依赖：在运行脚本之前，需要确保系统中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

长安有故里y

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值