saltstack之return与job管理

最新推荐文章于 2024-07-11 10:51:42 发布

王 \\_//

最新推荐文章于 2024-07-11 10:51:42 发布

阅读量437

点赞数

文章标签： linux

本文链接：https://blog.csdn.net/W_LTCY/article/details/121196821

版权

saltstack之return与job管理

1、SaltStack组件之return
2、SaltStack组件之job cache

1、SaltStack组件之return

return组件可以理解为SaltStack系统对执行Minion返回后的数据进行存储或者返回给其他程序，它支持多种存储方式，比如用MySQL、MongoDB、Redis、Memcache等，通过return我们可以对SaltStack的每次操作进行记录，对以后日志审计提供了数据来源。目前官方已经支持30种return数据存储与接口，我们可以很方便的配置与使用它。当然也支持自己定义的return，自定义的return需由python来编写。在选择和配置好要使用的return后，只需在salt命令后面指定return即可。

//查看所有return列表
[root@master ~]# salt '*' sys.list_returners
192.168.69.202:
    - carbon
    - couchdb
    - elasticsearch
    - etcd
    - highstate
    - hipchat
    - local
    - local_cache
    - mattermost
    - multi_returner
    - pushover
    - rawfile_json
    - slack
    - smtp
    - splunk
    - sqlite3
    - syslog
    - telegram

1.1 return流程

return是在Master端触发任务，然后Minion接受处理任务后直接与return存储服务器建立连接，然后把数据return存到存储服务器。关于这点一定要注意，因为此过程都是Minion端操作存储服务器，所以要确保Minion端的配置跟依赖包是正确的，这意味着我们将必须在每个Minion上安装指定的return方式依赖包，假如使用Mysql作为return存储方式，那么我们将在每台Minion上安装python-mysql模块。
在这里插入图片描述
这样的话对minions的压力就会很大，不仅要处理任务还要将返回结果一个发给master一份发给数据库

1.2 return部署

使用mysql作为return存储方式

环境：

主机	IP	服务
master	192.168.164.133	master
node02	192.168.164.134	minion、python3-PyMySQL
mysql	192.168.164.137	mariadb、mariadb-server

1.3 准备工作

1、所有的主机关闭防火墙和selinux

[root@node02 ~]# systemctl disable --now firewalld
[root@node02 ~]# setenforce 0
[root@node02 ~]# vim /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

2、下载python3-PyMySQL，用于和MySQL连接
注意：这个很重要，如果minion不安装这个，返回信息是不会记录到数据库中的
两种方式安装，一种是master上用模块批量安装，另外一种是到对面主机手动安装。
因为这次只有一台minion所以就直接到minion端手动安装即可

//minion上批量安装
[root@master ~]# salt '*' pkg.install  python3-PyMySQL
node02 :
    ----------
    python3-PyMySQL:
        ----------
        new:
            0.10.1-2.module_el8.5
        old:
[root@master ~]# salt '*' cmd.run 'rpm -qa|grep MySQL-python'
node02 :
    python3-PyMySQL-0.10.1-2.module_el8.5.0+761+faacb0fb.noarch

//minion端手动安装pymysql
[root@node02 ~]# yum -y install python3-PyMySQL
上次元数据过期检查：0:00:46 前，执行于 2021年11月07日 星期日 20时35分01秒。
依赖关系解决。
====================================================================
 软件包               架构   版本                   仓库       大小
====================================================================
安装:
 python3-PyMySQL      noarch 0.10.1-2.module_el8.5.0+761+faacb0fb
                                                    appstream  98 k
                                                   
 ......略过

[root@node02 ~]# rpm -qa | grep -i pymysql
python3-PyMySQL-0.10.1-2.module_el8.5.0+761+faacb0fb.noarch

1.4 部署一台数据库服务器

官方MySQL配置方法

[root@mysql ~]# yum -y install mariadb mariadb-server
[root@mysql ~]# systemctl start mariadb


//进入到数据库，根据官方提供的命令执行 创建存放返回数据的库和表
[root@mysql ~]# mysql
MariaDB [(none)]> CREATE DATABASE  `salt`
    ->   DEFAULT CHARACTER SET utf8
    ->   DEFAULT COLLATE utf8_general_ci;
Query OK, 1 row affected (0.001 sec)

MariaDB [(none)]> 
MariaDB [(none)]> show databases;   //此时已经创建了一个salt的库
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| salt               |
+--------------------+
4 rows in set (0.001 sec)

MariaDB [(none)]> USE `salt`;    //进入到数据库
Database changed
MariaDB [salt]> DROP TABLE IF EXISTS `jids`;   //判断，如果这个库存在就删除 如果没有则跳过
Query OK, 0 rows affected, 1 warning (0.001 sec)

MariaDB [salt]> CREATE TABLE `jids` (
    ->   `jid` varchar(255) NOT NULL,
    ->   `load` mediumtext NOT NULL,
    ->   UNIQUE KEY `jid` (`jid`)
    -> ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.011 sec)


MariaDB [salt]> CREATE TABLE `salt_returns` (   //创建一个表
    ->   `fun` varchar(50) NOT NULL,
    ->   `jid` varchar(255) NOT NULL,
    ->   `return` mediumtext NOT NULL,
    ->   `id` varchar(255) NOT NULL,
    ->   `success` varchar(10) NOT NULL,
    ->   `full_ret` mediumtext NOT NULL,
    ->   `alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    ->   KEY `id` (`id`),
    ->   KEY `jid` (`jid`),
    ->   KEY `fun` (`fun`)
    -> ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.017 sec)

MariaDB [salt]> DROP TABLE IF EXISTS `salt_events`;
Query OK, 0 rows affected, 1 warning (0.000 sec)

MariaDB [salt]> CREATE TABLE `salt_events` (
    -> `id` BIGINT NOT NULL AUTO_INCREMENT,
    -> `tag` varchar(255) NOT NULL,
    -> `data` mediumtext NOT NULL,
    -> `alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    -> `master_id` varchar(255) NOT NULL,
    -> PRIMARY KEY (`id`),
    -> KEY `tag` (`tag`)
    -> ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.008 sec)

MariaDB [salt]> show tables;  //此时发现创建了三个表
+----------------+
| Tables_in_salt |
+----------------+
| jids           |
| salt_events    |
| salt_returns   |
+----------------+
3 rows in set (0.001 sec)


//他们的结构分别如下
MariaDB [salt]> desc jids;
+-------+--------------+------+-----+---------+-------+
| Field | Type         | Null | Key | Default | Extra |
+-------+--------------+------+-----+---------+-------+
| jid   | varchar(255) | NO   | PRI | NULL    |       |
| load  | mediumtext   | NO   |     | NULL    |       |
+-------+--------------+------+-----+---------+-------+
2 rows in set (0.001 sec)

MariaDB [salt]> desc salt_events;
+------------+--------------+------+-----+---------------------+----------------+
| Field      | Type         | Null | Key | Default             | Extra          |
+------------+--------------+------+-----+---------------------+----------------+
| id         | bigint(20)   | NO   | PRI | NULL                | auto_increment |
| tag        | varchar(255) | NO   | MUL | NULL                |                |
| data       | mediumtext   | NO   |     | NULL                |                |
| alter_time | timestamp    | NO   |     | current_timestamp() |                |
| master_id  | varchar(255) | NO   |     | NULL                |                |
+------------+--------------+------+-----+---------------------+----------------+
5 rows in set (0.001 sec)

MariaDB [salt]> desc salt_returns;
+------------+--------------+------+-----+---------------------+-------+
| Field      | Type         | Null | Key | Default             | Extra |
+------------+--------------+------+-----+---------------------+-------+
| fun        | varchar(50)  | NO   | MUL | NULL                |       |
| jid        | varchar(255) | NO   | MUL | NULL                |       |
| return     | mediumtext   | NO   |     | NULL                |       |
| id         | varchar(255) | NO   | MUL | NULL                |       |
| success    | varchar(10)  | NO   |     | NULL                |       |
| full_ret   | mediumtext   | NO   |     | NULL                |       |
| alter_time | timestamp    | NO   |     | current_timestamp() |       |
+------------+--------------+------+-----+---------------------+-------+
7 rows in set (0.001 sec)

1.5 授权权限和配置

MariaDB [salt]> grant all on salt.* to 'salt'@'%' identified by 'salt';
# 授权，只要是salt用户 任何IP都可以登陆数据库 密码为salt
Query OK, 0 rows affected (0.002 sec)

MariaDB [salt]> flush privileges;   //刷新权限
Query OK, 0 rows affected (0.001 sec)



//到另外一台主机测试上测试，前提是另外一台主机安装了mariadb
[root@node02 ~]# mysql -usalt -psalt -h192.168.164.137
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 10
Server version: 10.3.28-MariaDB MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> 
# 可以登陆上去说明数据库授权没有问题

配置

[root@node02 salt]# pwd
/etc/salt
[root@node02 salt]# vim minion
......
######      Returner  settings        ######
############################################
# Default Minion returners. Can be a comma delimited string or a list:
#
#return: mysql   //下面三种是配置的方式，而我们使用官网提供的方式即可
#
#return: mysql,slack,redis
#
#return:
#  - mysql
#  - hipchat
#  - slack

# 添加以下内容
mysql.host: '192.168.164.137'   //数据库的IP
mysql.user: 'salt'    //数据库的账户
mysql.pass: 'salt'    //数据库的密码
mysql.db: 'salt'     //数据库中库的名称
mysql.port: 3306   //数据库的端口
......
[root@node02 salt]# systemctl restart salt-minion

1.6 master上测试

[root@master ~]# salt 'node02' test.ping --return mysql
# --return 让返回信息存储到mysql数据库中
# 如果想把每次的返回信息都放到数据中，因为修改minion端的minion配置文件，下面有介绍
node02:
    True


//到数据中查看salt_returns表是否把返回信息存储到数据库中
MariaDB [salt]> select * from salt_returns\G
*************************** 1. row ***************************
       fun: test.ping    //执行的模块
       jid: 20211107134022953117   //任务的ID
    return: true    //返回状态  成功
        id: node02   //在哪太主机上执行的
   success: 1
  full_ret: {"success": true, "return": true, "retcode": 0, "jid": "20211107134022953117", "fun": "test.ping", "fun_args": [], "id": "node02"}
# "fun_args": [] 函数是否有参数
alter_time: 2021-11-07 21:40:33   //记录信息的时间
1 row in set (0.001 sec)
#出现返回信息表示部署成功了！！！



以下内容为将每次返回信息都默认存储到数据库中，不用指定--return
以下内容为将每次返回信息都默认存储到数据库中，不用指定--return
以下内容为将每次返回信息都默认存储到数据库中，不用指定--return
################minion的配置文件，所有返回信息默认存储到数据库中###########################
[root@node02 salt]# pwd
/etc/salt
[root@node02 salt]# vim minion
......
######      Returner  settings        ######
############################################
# Default Minion returners. Can be a comma delimited string or a list:
#
#return: mysql   //把这一行主机即可，所有的返回信息都存储到数据库中
                 //修改配文文件记得重启哦
[root@node02 salt]# systemctl restart salt-minion

//master执行模块然后到数据中查看是否有数据
[root@master ~]# salt 'node02' test.ping  
node02:
    True

*************************** 4. row ***************************
       fun: test.ping
       jid: 20211107135214097717
    return: true
        id: node02
   success: 1
  full_ret: {"success": true, "return": true, "retcode": 0, "jid": "20211107135214097717", "fun": "test.ping", "fun_args": [], "id": "node02"}
alter_time: 2021-11-07 21:52:14
4 rows in set (0.000 sec)
#出现返回信息表示部署成功了！！！ ，不用手动指定了 将所有返回信息都记录
###############################  结束  #################################################

2、SaltStack组件之job cache

2.1 job cache流程

eturn时是由Minion直接与存储服务器进行交互，因此需要在每台Minion上安装指定的存储方式的模块，比如python-mysql，那么我们能否直接在Master上就把返回的结果给存储到存储服务器呢？

答案是肯定的，这种方式被称作 job cache 。意思是当Minion将结果返回给Master后，由Master将结果给缓存在本地，然后将缓存的结果给存储到指定的存储服务器，比如存储到mysql中。
在这里插入图片描述

官方介绍地址
 官方配置地址

**配置job cache前要把minion中的minion配置文件改回原样，注释掉添加的内容**

[root@node02 salt]# pwd
/etc/salt
[root@node02 salt]# vim minion
......
#mysql.host: '192.168.164.137'
#mysql.user: 'salt'
#mysql.pass: 'salt'
#mysql.db: 'salt'
#mysql.port: 3306
......

[root@node02 salt]# systemctl restart salt-minion

2.2 job cache配置

环境：

主机	IP	服务
master	192.168.164.133	master、python3-PyMySQL
node02	192.168.164.134	minion
mysql	192.168.164.137	mariadb、mariadb-server

修改master配置文件

[root@master ~]# cd /etc/salt/
[root@master salt]# vim master
......
#job_cache: True
master_job_cache: mysql   //这个就类似于return中的#return: mysql 把所有的返回信息记录到数据库中
mysql.host: '192.168.164.137'
mysql.user: 'salt'
mysql.pass: 'salt'
mysql.db: 'salt'
mysql.port: 3306
# Cache minion grains, pillar and mine data via the cache subsystem in the
......

[root@master salt]# systemctl restart salt-master

2.3 master上安装pymysql

注意：master安装pymysql是为了让返回的数据能存储到mysql中,所以一定要安装不然会报错

[root@master salt]# yum -y install python3-PyMySQL

2.4 master执行模块验证

//master上执行模块
[root@master salt]# salt 'node02' cmd.run 'ls -l /root'
node02:
    total 12
    -rw-r--r--  1 tom  tom     7 Nov  4 22:08 abc
    -rw-------. 1 root root 1094 Sep 24 09:06 anaconda-ks.cfg
    drwxr-xr-x  2 tom  tom     6 Nov  5 11:22 test01
    drwxr-xr-x  2 tom  tom     6 Nov  5 11:20 test02
    -rw-r--r--  1 tom  tom     7 Nov  4 21:37 wjm


//到数据库中查看是否有记录
*************************** 5. row ***************************
       fun: cmd.run
       jid: 20211107144255369809
    return: "total 12\n-rw-r--r--  1 tom  tom     7 Nov  4 22:08 abc\n-rw-------. 1 root root 1094 Sep 24 09:06 anaconda-ks.cfg\ndrwxr-xr-x  2 tom  tom     6 Nov  5 11:22 test01\ndrwxr-xr-x  2 tom  tom     6 Nov  5 11:20 test02\n-rw-r--r--  1 tom  tom     7 Nov  4 21:37 wjm"
        id: node02
   success: 1
  full_ret: {"cmd": "_return", "id": "node02", "success": true, "return": "total 12\n-rw-r--r--  1 tom  tom     7 Nov  4 22:08 abc\n-rw-------. 1 root root 1094 Sep 24 09:06 anaconda-ks.cfg\ndrwxr-xr-x  2 tom  tom     6 Nov  5 11:22 test01\ndrwxr-xr-x  2 tom  tom     6 Nov  5 11:20 test02\n-rw-r--r--  1 tom  tom     7 Nov  4 21:37 wjm", "retcode": 0, "jid": "20211107144255369809", "fun": "cmd.run", "fun_args": ["ls -l /root"], "_stamp": "2021-11-07T14:42:55.880476"}
alter_time: 2021-11-07 22:42:56
5 rows in set (0.001 sec)

2.5 job管理

//获取任务的jid
[root@master salt]# salt 'node02' cmd.run 'date' -v
Executing job with jid 20211107144942609572     //此处就是此命令的jid
-------------------------------------------

node02:
    Sun Nov  7 22:49:42 CST 2021

//通过jid获取此任务的返回结果
[root@master salt]# salt-run jobs.lookup_jid 20211107144942609572
node02:
    Sun Nov  7 22:49:42 CST 2021

王 \\_//

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
saltstack之return与job管理

saltstack之return与job管理1、return部署1.1 准备工作1.2 部署一台数据库服务器1.3 授权权限和配置1.4 master上测试2、job cache1、return部署1.1 准备工作1、所有的主机关闭防火墙和selinux[root@node02 ~]# systemctl disable --now firewalld[root@node02 ~]# setenforce 0[root@node02 ~]# vim /etc/selinux/config# T
复制链接

扫一扫