Filebeat 自动安装部署&amp；一键配置实现_filebeat安装(4)

2401_84140060

于 2024-05-15 06:25:54 发布

阅读量914

点赞数 24

分类专栏： 2024年程序员学习文章标签：运维 linux 面试

本文链接：https://blog.csdn.net/2401_84140060/article/details/138886458

版权

2024年程序员学习专栏收录该内容

80 篇文章 0 订阅

订阅专栏

最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

资料预览

给大家整理的视频资料：

给大家整理的电子书资料：

如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

mkdir /home/salt/filebeat

请添加图片描述

append.sh：如果后面有新增服务需要接入日志，且目标主机已经安装filebeat，此脚本可以将新的配置字段写进配置文件里（需要下发给minio）
filebeat-7.1.1-linux-x86_64.tar.gz：filebeat安装包（需要下发给minio）
filebeat.yml：配置文件模板（需要下发给minio）
install.sls：部署脚本；里面有两个逻辑：1、首次安装；2、后续新增配置字段

完整脚本如下：

{% set PACKAGE = 'filebeat-7.1.1-linux-x86\_64' %}
{% set SERVICE_NAME = 'nginx' %}
{% set LOG_PATH = '/var/log/nginx/access.log' %}
{% set NEW_SERVICE_NAME = 'keepalived' %}
{% set NEW_LOG_PATH = '/var/log/keepalived.log' %}


filebeat_source:
  file.managed:
    - name: /tmp/{{PACKAGE}}.tar.gz
    - source: salt://filebeat/{{PACKAGE}}.tar.gz
    - onlyif:
      - cmd: rpm -qi filebeat && exit 127

filebeat_extract:
  cmd.run:
    - cwd: /tmp
    - names:
      - tar zxf {{PACKAGE}}.tar.gz
    - require:
      - file: filebeat_source
    - unless:
      - test -d /tmp/{{PACKAGE}}
      
filebeat_install:
  cmd.run:
    - cwd: /tmp/{{PACKAGE}}
    - names: 
      - /bin/bash install.sh
    - require:
      - cmd: filebeat_extract
    - unless:
      - test -d /etc/filebeat
      
copy_yml:
  cmd.run:
    - cwd: /etc/filebeat
    - names: 
      - mv filebeat.yml filebeat.yml.bak
    - require:
      - cmd: filebeat_install
    - unless:
      - test -e /etc/filebeat/filebeat.yml.bak
      
filebeat_yml:
  file.managed:
    - name: /etc/filebeat/filebeat.yml
    - source: salt://filebeat/filebeat.yml
    - require:
      - cmd: copy_yml
    - template: jinja
    - defaults:
      server_name: {{ SERVICE_NAME }}
      log_path: {{ LOG_PATH }} 
    - unless:
      - test -e /etc/filebeat/filebeat.yml

filebeat_start:
  cmd.run:
    - name: systemctl start filebeat
    - require:
      - file: filebeat_yml
    - unless:
      - systemctl status filebeat
       
script_source:
  file.managed:
    - name: /etc/filebeat/append.sh
    - source: salt://filebeat/append.sh
    - onlyif:
      - cmd: rpm -qi filebeat
    - unless:
      - test -e /etc/filebeat/append.sh
      
yml_append:
  cmd.run:
    - cwd: /etc/filebeat
    - names:
      - /bin/bash append.sh {{NEW_SERVICE_NAME}} {{NEW_LOG_PATH}}
    - require:
      - file: script_source

filebeat_restart:
  cmd.run:
    - name: systemctl restart filebeat
    - require:
      - cmd: yml_append

我们分别来看一下

脚本实现

append.sh

我们先来看一下append.sh

append.sh脚本实现的功能就是判断新增的服务在配置文件里面是否存在，如果不存在的话就添加到配置文件里去，如果存在则不做任何操作

首先对传进来的第一个参数——新增的服务标识进行 grep 过滤，来看一下当前配置文件里面是否有要新增的字段

$?表示执行grep $1 filebeat.yml返回的状态码，如果返回0则表示字段存在，返回非0表示字段不存在

grep $1 filebeat.yml

接着是一个条件判断：

1、如果配置文件里没有该服务标识（代表是新增的，状态码返回0），则使用 sed 将内容写入配置文件里面

（ $1表示传入shell脚本的第一个参数——服务标识，$2表示传入shell脚本的第一个参数——服务对应的完整日志路径）

2、如果配置文件里有该服务标识（代表是以前就有的，状态码返回非0），则输出提示语

#!/bin/bash
grep $1 filebeat.yml
if [ $? -eq 0 ]
then
echo "service is alreadty exist!"
else
sed -i '/filebeat.inputs:/a\
- type: log\
 enabled: true\
 encoding: utf-8\
 tail\_files: false\
 paths:\
 - '${2}'\
 fields:\
 log\_topic: '${1}'\

' filebeat.yml
fi

install.sls

install.sls里面有两个功能逻辑：首次安装部署和后续新增配置

1、首次部署filebeat并修改filebeat配置文件，将需要监控的服务配置字段添加进去

2、后续有新增服务需要接入日志，则将服务标识和对应日志路径添加到filebeat配置文件里

脚本开头定义了五个变量，方便我们后续维护

{% set PACKAGE = 'filebeat-7.1.1-linux-x86\_64' %}
{% set SERVICE_NAME = 'nginx' %}
{% set LOG_PATH = '/var/log/nginx/access.log' %}
{% set NEW_SERVICE_NAME = 'keepalived' %}
{% set NEW_LOG_PATH = '/var/log/keepalived.log' %}

首次安装：

PACKAGE：filebeat安装包
SERVICE_NAME：服务标识
LOG_PATH：服务对应日志

后续新增：

NEW_SERVICE_NAME：新增的服务标识
NEW_LOG_PATH：新增的服务对应日志

在脚本开始执行之前，会对目标主机做一个判断，判断是否已经安装了filebeat，如果已经安装了则不走首次安装的逻辑，走后续新增的逻辑

如果没有安装则走首次安装的逻辑

如果目标主机已经安装了filebeat但不需要新增服务接入日志，但是还是走了一遍后续新增的逻辑，这是不影响的，因为在append.sh里面会有一个判断

执行首次安装部署逻辑

filebeat_source:
  file.managed:
    - name: /tmp/{{PACKAGE}}.tar.gz
    - source: salt://filebeat/{{PACKAGE}}.tar.gz
    - onlyif:
      - cmd: rpm -qi filebeat && exit 127

PS：注意这里

 - onlyif:
      - cmd: rpm -qi filebeat && exit 127

这段字段逻辑是在目标主机执行rpm -qi filebeat语句，检查是否已经安装过filebeat，如果没有安装则返回一个非0的状态码（这里我设成返回127）

然后onlyif字段是指返回非0就执行filebeat_source:对应的内容，返回0就不执行

又因为下面的语句是依赖于filebeat_source的，所以如果目标主机安装了filebeat，就不会执行filebeat_source语句，也不会执行后面所依赖的语句

完整脚本如下：

filebeat_source:
  file.managed:
    - name: /tmp/{{PACKAGE}}.tar.gz
    - source: salt://filebeat/{{PACKAGE}}.tar.gz
    - onlyif:
      - cmd: rpm -qi filebeat && exit 127

filebeat_extract:
  cmd.run:
    - cwd: /tmp
    - names:
      - tar zxf {{PACKAGE}}.tar.gz
    - require:
      - file: filebeat_source
    - unless:
      - test -d /tmp/{{PACKAGE}}

filebeat_install:
  cmd.run:
    - cwd: /tmp/{{PACKAGE}}
    - names: 
      - /bin/bash install.sh
    - require:
      - cmd: filebeat_extract
    - unless:
      - test -d /etc/filebeat

copy_yml:
  cmd.run:
    - cwd: /etc/filebeat
    - names: 
      - mv filebeat.yml filebeat.yml.bak
    - require:
      - cmd: filebeat_install
    - unless:
      - test -e /etc/filebeat/filebeat.yml.bak

filebeat_yml:


为了做好运维面试路上的助攻手，特整理了上百道 **【运维技术栈面试题集锦】** ，让你面试不慌心不跳，高薪offer怀里抱！

这次整理的面试题，**小到shell、MySQL，大到K8s等云原生技术栈，不仅适合运维新人入行面试需要，还适用于想提升进阶跳槽加薪的运维朋友。**

![](https://img-blog.csdnimg.cn/img_convert/263ce592917260594b1d4c561a930fda.png)

本份面试集锦涵盖了

*   **174 道运维工程师面试题**
*   **128道k8s面试题**
*   **108道shell脚本面试题**
*   **200道Linux面试题**
*   **51道docker面试题**
*   **35道Jenkis面试题**
*   **78道MongoDB面试题**
*   **17道ansible面试题**
*   **60道dubbo面试题**
*   **53道kafka面试**
*   **18道mysql面试题**
*   **40道nginx面试题**
*   **77道redis面试题**
*   **28道zookeeper**

**总计 1000+ 道面试题， 内容 又全含金量又高**

*   **174道运维工程师面试题**

> 1、什么是运维?

> 2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?

> 3、现在给你三百台服务器，你怎么对他们进行管理?

> 4、简述raid0 raid1raid5二种工作模式的工作原理及特点

> 5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

> 6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?

> 7、Tomcat和Resin有什么区别，工作中你怎么选择?

> 8、什么是中间件?什么是jdk?

> 9、讲述一下Tomcat8005、8009、8080三个端口的含义？

> 10、什么叫CDN?

> 11、什么叫网站灰度发布?

> 12、简述DNS进行域名解析的过程?

> 13、RabbitMQ是什么东西?

> 14、讲一下Keepalived的工作原理?

> 15、讲述一下LVS三种模式的工作过程?

> 16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?

> 17、如何重置mysql root密码?

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618635766)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

名解析的过程?

> 13、RabbitMQ是什么东西?

> 14、讲一下Keepalived的工作原理?

> 15、讲述一下LVS三种模式的工作过程?

> 16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?

> 17、如何重置mysql root密码?

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618635766)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**