ELK（elasticsearch kibana Logstash）（脚本安装）

最新推荐文章于 2024-06-02 02:45:00 发布
最新推荐文章于 2024-06-02 02:45:00 发布
阅读量113 收藏
点赞数 1
文章标签： elk elasticsearch 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_72034652/article/details/133338873
版权

一、ELK简介
ELK是三个软件的统称，即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件，通常配合使用，并且都先后归于Elastic.co企业名下，故被简称为ELK协议栈。ELK主要用于部署在企业架构中，收集多台设备上多个服务的日志信息，并将其统一整合后提供给用户。

二、ELK架构
在ELK架构中，Elasticsearch、Logstash和Kibana三款软件作用如下：
1、Elasticsearch
Elasticsearch是一个高度可扩展的全文搜索和分析引擎，基于Apache Lucence（事实上，Lucence也是百度所采用的搜索引擎）构建，能够对大容量的数据进行接近实时的存储、搜索和分析操作。
2、Logstash
Logstash是一个数据收集引擎，它可以动态的从各种数据源搜集数据，并对数据进行过滤、分析和统一格式等操作，并将输出结果存储到指定位置上。Logstash支持普通的日志文件和自定义Json格式的日志解析。
3、Kibana
Kibana是一个数据分析和可视化平台，通常与Elasticsearch配合使用，用于对其中的数据进行搜索、分析。

一、ELK简介
ELK是三个软件的统称，即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件，通常配合使用，并且都先后归于Elastic.co企业名下，故被简称为ELK协议栈。ELK主要用于部署在企业架构中，收集多台设备上多个服务的日志信息，并将其统一整合后提供给用户。
 

ELK-Logstash(部署脚本)

#!/bin/bash
#####root判断#####
if
  [  "$USER"  != "root"   ]
then
   echo "错误：非root用户，权限不足！"
  exit  0
fi
############防火墙与高级权限##########
systemctl stop firewalld && systemctl disable firewalld  && echo "防火墙已经关闭"
sed -i 's/SELINUX=*/SELINUX=disabled/g'  /etc/selinux/config  && echo "关闭selinux"
###############检查网络连通是否正常############
ping -c 3   www.baidu.com
if
   [ $? -eq 0 ]
   then
   echo -e "\n\033[32m-----------------------------------------------\033[0m"
                	echo -e "\033[32m网络畅通，即将安装服务\033[0m"
   else 
     echo -e "\n\033[32m-----------------------------------------------\033[0m"
                	echo -e "\033[32m即将退出，请检查外网通讯 !\033[0m"
        exit  1
fi
##############安装http#########
yum -y install httpd
if
  [ $? =  0 ]  
 then
  echo  "http安装成功"
else
   echo  "http安装失败"
   exit 1
 fi
############启动服务############
systemctl start httpd
if
  [ $? =  0 ]  
 then
  echo  "http服务已开启"
else
   echo  "http服务开启失败"
   exit 1
 fi
#############安装logstash##########
L="/opt/logstash-6.6.1.rpm"
if
   [ ! -e  $L ]
   then
   echo "安装包不存在，请上传安装文件到/opt/"
   exit 1
fi
rpm -ivh /opt/logstash-6.6.1.rpm

chmod o+r /var/log/messages
##########在Apache主机上做对接配置#########
read -ep "请输入ELK-node1的IP：" ELK1
cat >> /etc/logstash/conf.d/system.conf  <<  EOF
input {
       file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
        }
      }
output {
        elasticsearch {
          hosts => ["$ELK1:9200"]
          index => "system-%{+YYYY.MM.dd}"
          }
        }
EOF
###########启动logstash服务########
systemctl start logstash.service  &&  systemctl enable logstash.service
if
  [ $? =  0 ]  
 then
  echo  "logstash服务已开启"
else
   echo  "logstash服务开启失败"
   exit 1
 fi
###########测试##############
echo "Ctrl+c退出"
logstash -e 'input { stdin{} } output { stdout{} }'
sleep 2
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
sleep 2
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["$ELK1:9200"] } }'
########对接Apache主机的Apache 日志文件（访问日志、错误日志）##########
cat >> /etc/logstash/conf.d/apache_log.conf  <<  EOF
input { 
     file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
      }
     file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
      }
}
output {
    if [type] == "access" {
        elasticsearch {
          hosts => ["$ELK1:9200"]
          index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
    if [type] == "error" {
        elasticsearch {
          hosts => ["$ELK1:9200"]
          index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}
EOF
#################
cd /etc/logstash/conf.d/
logstash -f apache_log.conf
echo "logstash已安装完成"

ELK-node1（部署脚本）

#!/bin/bash

#####root判断#####
if
  [  "$USER"  != "root"   ]
then
   echo "错误：非root用户，权限不足！"
  exit  0
fi
############防火墙与高级权限##########
systemctl stop firewalld && systemctl disable firewalld  && echo "防火墙已经关闭"
sed -i 's/SELINUX=*/SELINUX=disabled/g'  /etc/selinux/config  && echo "关闭selinux"
###############检查网络连通是否正常############
ping -c 3   www.baidu.com
if
   [ $? -eq 0 ]
   then
   echo -e "\n\033[32m-----------------------------------------------\033[0m"
                	echo -e "\033[32m网络畅通，即将安装服务\033[0m"
   else 
     echo -e "\n\033[32m-----------------------------------------------\033[0m"
                	echo -e "\033[32m即将退出，请检查外网通讯 !\033[0m"
        exit  1
fi
#############修改主机名##############
echo "请用hostnamectl set-hostname node1修改主机名"
echo "请用su切换shell生效主机名"
sleep 5
IP=$(hostname -I | awk '{print $1}' | awk -F '.' '{print $1"."$2"."$3"."$4}')
read -ep "请输入ELK-node2IP："  node2IP
cat >> /etc/hosts  << EOF
$IP node1
$node2IP node2
EOF
yum -y install java
############安装elasticsearch##########
lcn="/opt/elasticsearch-6.6.2.rpm"
if
   [ ! -e  $lcn ]
   then
   echo "安装包不存在，请上传安装文件到/opt/"
   exit 1
fi
rpm -ivh /opt/elasticsearch-6.6.2.rpm
sleep 3
###############创建数据存放路径并授权##########
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
cat >> /etc/security/limits.conf  << EOF
*               soft    nofile          65536
*               hard    nofile          65536
EOF
##############修改elasticsearch主配置文件###############
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
cat > /etc/elasticsearch/elasticsearch.yml  <<  EOF
cluster.name: my-application
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
EOF
##############编译安装node组件依赖包#############
cd /usr/local/src/

if
	[ $? =  0 ]  
then
	echo  "node依赖包安装完成"
else
	echo  "node依赖包安装失败"
	exit 1
fi
###################下载node-v8.2.1包########################
wget https://npm.taobao.org/mirrors/node/v8.2.1/node-v8.2.1-linux-x64.tar.gz
if
	[ $? =  0 ]  
then
	echo  "node-v8.2.1包下载完成"
else
	echo  "node-v8.2.1包下载失败"
	exit 1
fi
tar zxf node-v8.2.1-linux-x64.tar.gz
mv node-v8.2.1-linux-x64  node-v8.2.1
cat >> /etc/profile  << EOH
export NODE_HOME=/usr/local/src/node-v8.2.1
export PATH=\$PATH:\$NODE_HOME/bin
export NODE_PATH=\$NODE_HOME/lib/node_modules
EOH
source  /etc/profile
source  /etc/profile
##############安装phantomjs############
nihao="/opt/phantomjs-2.1.1-linux-x86_64.tar.bz2"
if
   [ ! -e  $nihao ]
   then
   echo "安装包不存在，请上传安装文件到/opt/"
   exit 1
fi
tar jxf /opt/phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cp /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/
##############安装elasticsearch-head（数据可视化工具）###########
head="/opt/elasticsearch-head-master.tar.gz"
if
   [ ! -e  $head ]
   then
   echo "安装包不存在，请上传安装文件到/opt/"
   exit 1
fi
tar zxf /opt/elasticsearch-head-master.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head-master/
npm install
#############修改主配置文件########
cat >> /etc/elasticsearch/elasticsearch.yml  << EOF
http.cors.enabled: true
http.cors.allow-origin: "*"
EOF
#############启动elasticsearch服务###########
systemctl daemon-reload  &&  systemctl start elasticsearch  &&  systemctl enable elasticsearch.service
if
	[ $? =  0 ]  
then
	echo  "elasticsearch服务已开启"
else
	echo  "elasticsearch服务开启失败"
	exit 1
fi
sleep 3
###############启动elasticsearch-head-master############
cd /usr/local/src/elasticsearch-head-master/
npm run start &
sleep 3
if
	[ $? =  0 ]  
then
	echo  "elasticsearch-head已开启"
else
	echo  "elasticsearch-head开启失败"
	exit 1
fi
#########安装kibana###########
ki="/opt/kibana-6.6.1-x86_64.rpm"
if
   [ ! -e  $ki ]
   then
   echo "安装包不存在，请上传安装文件到/opt/,上传完成再重新运行该脚本"
   exit 1
fi
rpm -ivh /opt/kibana-6.6.1-x86_64.rpm
#############修改配置文件#############
cp /etc/kibana/kibana.yml /etc/kibana/kibana.yml.bak
cat >> /etc/kibana/kibana.yml  << EOH
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://$IP:9200"]
kibana.index: ".kibana"
EOH
###########启动kibana服务#########
systemctl start kibana.service  &&  systemctl enable kibana.service
if
	[ $? =  0 ]  
then
	echo  "kibana已开启"
else
	echo  "kibana开启失败"
	exit 1
fi
#############################################################################
	echo "ELK-node1已安装完成，请登录http://$IP:9100访问elasticsearch！"
	echo "请登录http://$IP:5601查看管理日志！"

ELK-node2（部署脚本）

#!/bin/bash

#####root判断#####
if
  [  "$USER"  != "root"   ]
then
   echo "错误：非root用户，权限不足！"
  exit  0
fi
############防火墙与高级权限##########
systemctl stop firewalld && systemctl disable firewalld  && echo "防火墙已经关闭"
sed -i 's/SELINUX=*/SELINUX=disabled/g'  /etc/selinux/config  && echo "关闭selinux"
###############检查网络连通是否正常############
ping -c 3   www.baidu.com
if
   [ $? -eq 0 ]
   then
   echo -e "\n\033[32m-----------------------------------------------\033[0m"
                	echo -e "\033[32m网络畅通，即将安装服务\033[0m"
   else 
     echo -e "\n\033[32m-----------------------------------------------\033[0m"
                	echo -e "\033[32m即将退出，请检查外网通讯 !\033[0m"
        exit  1
fi
#############修改主机名##############
echo "请用hostnamectl set-hostname node2修改主机名"
echo "请用su切换shell生效主机名"
sleep 5
IP=$(hostname -I | awk '{print $1}' | awk -F '.' '{print $1"."$2"."$3"."$4}')
read -ep "请输入ELK-node1IP："  node1IP
cat >> /etc/hosts  << EOF
$node1IP node1
$IP node2
EOF
yum -y install java
############安装elasticsearch##########
e="/opt/elasticsearch-6.6.2.rpm"
if
   [ ! -e  $e ]
   then
   echo "安装包不存在，请上传安装文件到/opt/"
   exit 1
fi
rpm -ivh /opt/elasticsearch-6.6.2.rpm
sleep 2
###############创建数据存放路径并授权##########
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
cat >> /etc/security/limits.conf  << EOF
*               soft    nofile          65536
*               hard    nofile          65536
EOF
##############修改elasticsearch主配置文件###############
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
cat > /etc/elasticsearch/elasticsearch.yml  <<  EOF
cluster.name: my-application
node.name: node2
path.data: /data/elk_data
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
EOF
##############编译安装node组件依赖包#############
cd /usr/local/src/

if
	[ $? =  0 ]  
then
	echo  "依赖包安装完成"
else
	echo  "依赖包安装失败"
	exit 1
fi
#############################node-v8.2.1#############################
wget https://npm.taobao.org/mirrors/node/v8.2.1/node-v8.2.1-linux-x64.tar.gz
if
	[ $? =  0 ]  
then
	echo  "node-v8.2.1包下载完成"
else
	echo  "node-v8.2.1包下载失败"
	exit 1
fi
tar zxf node-v8.2.1-linux-x64.tar.gz
mv node-v8.2.1-linux-x64  node-v8.2.1
cat >> /etc/profile  << EOH
export NODE_HOME=/usr/local/src/node-v8.2.1
export PATH=\$PATH:\$NODE_HOME/bin
export NODE_PATH=\$NODE_HOME/lib/node_modules
EOH
source  /etc/profile
source  /etc/profile
##############安装phantomjs（前端框架）############
p="/opt/phantomjs-2.1.1-linux-x86_64.tar.bz2"
if
   [ ! -e  $p ]
   then
   echo "安装包不存在，请上传安装文件到/opt/"
   exit 1
fi
tar jxf /opt/phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cp /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/
##############安装elasticsearch-head（数据可视化工具）###########
head="/opt/elasticsearch-head-master.tar.gz"
if
   [ ! -e  $head ]
   then
   echo "安装包不存在，请上传安装文件到/opt/"
   exit 1
fi
tar zxf /opt/elasticsearch-head-master.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head-master/
npm install
#############修改主配置文件########
cat >> /etc/elasticsearch/elasticsearch.yml  << EOF
http.cors.enabled: true
http.cors.allow-origin: "*"
EOF
#############启动elasticsearch服务###########
systemctl daemon-reload  &&  systemctl start elasticsearch  &&  systemctl enable elasticsearch.service
if
	[ $? =  0 ]  
then
	echo  "elasticsearch服务已开启"
else
	echo  "elasticsearch服务开启失败"
	exit 1
fi
sleep 3
###############启动elasticsearch-head-master############
cd /usr/local/src/elasticsearch-head-master/
npm run start &
sleep 3
if
	[ $? =  0 ]  
then
	echo  "elasticsearch-head已开启"
else
	echo  "elasticsearch-head开启失败"
	exit 1
fi
#################################################################
	echo "ELK-node2已安装完成，请登录http://$IP:9100访问elasticsearch！"

122080
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
ELK自动安装脚本
03-19
ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用 kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 本资料共包含以下附件： ELK自动安装脚本.docx
开源实时日志分析平台—ELK
w1206507055的博客
06-15 1万+
了解开源实时日志分析平台ELK
开源日志分析平台ELK实战应用
m0_57021623的博客
06-02 1051
ELK 是一个开源的日志管理平台，由 Elasticsearch、Logstash 和 Kibana 三个组件组成。这个平台广泛用于实时日志处理和分析。下面简单介绍一下每个组件的作用以及如何搭建一个基本的 ELK 栈。
ELK简介
u010230019的博客
04-21 4117
elk
ELK介绍、Elasticsearch单节点部署、Elasticsearch集群部署
weixin_46837396的博客
08-09 751
一、什么是ELK? 通俗来讲，ELK 是由 Elasticsearch、Logstash、Kibana 三个开源软件的组 成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称 为 ELK stack，官方域名为 stactic.co，ELK stack 的主要优点有如下几个： 处理方式灵活： elasticsearch是实时全文索引，具有强大的搜索功能 配置相对简单：elasticsearch 全部使用JSON 接口，logstash 使用模块配置，kibana的配置文件部分更简单。
Elastic Search 集群部署和 Kibana 部署
Stars.Sky 的博客
03-17 2317
Elastic Search 集群部署和 Kibana 部署
elasticsearch+kibana+logstash ELK资料整理
05-11
Logstash 负责收集和预处理数据，Elasticsearch 存储并提供快速检索，而 Kibana 则负责数据可视化和交互式分析。对于新手来说，理解并掌握 ELK Stack 的工作原理和配置，能够有效提升日志管理和监控能力。
k8s-elk:Kubernetes ELK-ElasticSearch，Kibana，Logstash和所有装饰
05-18
Kubernetes ELK-ElasticSearch，Kibana，Logstash和所有装饰该存储库当前包含ElasticSearch和Kibana配置。 ElasticSearch以3种形式运行。 第一个是“主”类型，这是ElasticSearch文档中的主类型。 第二种类型是...
用于批量启动elasticsearch、logstash、kibana的批处理脚本
08-15
用于批量启动elasticsearch、logstash、kibana的批处理脚本
elasticsearch安装,elk elasticsearch+logstash+filebeat+kibana安装部署文档
最新发布
06-25
elasticsearch安装,elk elasticsearch+logstash+filebeat+kibana安装部署文档，运维监控
Elk-开源
04-26
全电子全势线性化增强平面波（FP-LAPW）代码。 设计为对开发人员尽可能友好，以便可以快速，可靠地添加密度泛函理论（DFT）领域的新发展。
elk-开源
05-15
elk是一个功能强大的基于python的开源命令行Web搜寻器，可以递归搜索网站上的文件和文本。
elk安装脚本
02-14
elk工具自自动化部署安装脚本 一件执行安装非常方便
suricata+elk+kibana+logstash安装手册.docx
08-13
这个文档详细介绍了如何在CentOS 7环境下设置一套完整的监控解决方案，包括 Suricata 作为核心的威胁检测引擎，以及 ELK（Elasticsearch, Logstash, Kibana）堆栈用于数据收集、存储和可视化。 1. **Suricata 安装*...
【ElasticSearch】ELK简介
No8g攻城狮的博客
10-24 1万+
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，Elasticsearch 会集中存储您的数据，让您飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。ElasticSearch官网。
日志服务 SLS 和开源 ELK 全面对比
阿里云云栖号
05-06 1633
ElasticSearch 基于 Lucene 全文索引实现，查询分析实现成本较高。Lucene 设计场景是 Information Retrial，面对是 Document 类型，因此对于可观测分析数据有一定限制，例如规模、查询能力、以及一些定制化功能。
ELK部署脚本---亲测可用
彭大帅的博客
07-30 749
注意事项部分扩展需要连接gethub网站，你懂的，可能导致部分插件安装失败，可以在脚本执行中跳过，待网络良好时再安装。elasticsearch-node1脚本（脚本运行中会提示你输入部分信息如IP，日志文件路径以及日志文件类型等）提示"请输入您要监控的本机日志文件类型(对应ES索引）"system。logstash脚本该脚本用来将相应的服务器主机的日志输出到ELK。提示"请输入ES节点1的IP"输入对应的节点IP即可。请注意在ES脚本中也有相关提示输入，按实际情况输入即可。................
ELK详解（一）——ELK基本原理
热门推荐
永远是少年
04-03 2万+
今天继续给大家介绍Linux运维相关知识，本文主要内容是ELK的基本原理。 一、ELK简介 二、ELK架构 三、ELK优点
ELK搭建开源日志系统（window版本）—图文详细
小白的通俗见解
04-26 5545
ELK搭建开源日志系统（window版本）—图文详细 日志对于排查错误非常重要，使用linux命令awk sed grep find等命令查询日志非常麻烦，而且很难做数据分析，使用免费开源的ELK可以支撑大规模的日志检索，本文将一步步教怎么快速搭建一个window版本的ELK日志收集系统。 下载elasticsearch、logstash、kibana、filebeat 注意同一系列的版本要一样，防止出现版本不兼容问题，本文使用7.16.0版本，在window系统演示 下载elasticsearch 访问地

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值