SaltStack组件return和job cache以及salt-ssh

最新推荐文章于 2021-07-30 11:37:00 发布

夜舞精狼

最新推荐文章于 2021-07-30 11:37:00 发布

阅读量243

点赞数

分类专栏：自动化运维

本文链接：https://blog.csdn.net/a913909626/article/details/118581047

版权

自动化运维专栏收录该内容

6 篇文章 0 订阅

订阅专栏

1. 组件return

return组件可以理解为SaltStack系统对执行Minion返回后的数据进行存储或者返回给其他程序，它支持多种存储方式，比如用MySQL、MongoDB、Redis、Memcache等，通过return我们可以对SaltStack的每次操作进行记录，对以后日志审计提供了数据来源。目前官方已经支持30种return数据存储与接口，我们可以很方便的配置与使用它。当然也支持自己定义的return，自定义的return需由python来编写。在选择和配置好要使用的return后，只需在salt命令后面指定return即可。

[root@master ~]# salt 'minion' sys.list_returners
minion:
    - carbon
    - couchdb
    - etcd
    - highstate
    - local
    - local_cache
    - mattermost
    - multi_returner
    - pushover
    - rawfile_json
    - slack
    - slack_webhook
    - smtp
    - splunk
    - sqlite3
    - syslog
    - telegram

1.1 return流程

return是在Master端触发任务，然后Minion接受处理任务后直接与return存储服务器建立连接，然后把数据return存到存储服务器。关于这点一定要注意，因为此过程都是Minion端操作存储服务器，所以要确保Minion端的配置跟依赖包是正确的，这意味着我们将必须在每个Minion上安装指定的return方式依赖包，假如使用Mysql作为return存储方式，那么我们将在每台Minion上安装python-mysql模块。
在这里插入图片描述
环境说明

主机名	所需服务	IP
master	salt-master salt-minion	192.168.249.141
minion	salt-minion python3-PyMySQL模块	192.168.249.145
mysql	mysql-5.7	192.168.249.146

1.2 使用mysql作为return存储方式

在所有minion上安装Mysql-python模块

//以前的系统是直接安装以上模块，centos8我们先查看一下源里面有什么模块
[root@minion ~]# yum list all|grep -i mysql|grep -i python
python2-PyMySQL.noarch                                 0.8.0-10.module_el8.5.0+743+cd2f5d28              appstream        
python3-PyMySQL.noarch                                 0.10.1-2.module_el8.5.0+761+faacb0fb              appstream        
python38-PyMySQL.noarch                                0.10.1-1.module_el8.5.0+742+dbad1979              appstream        
python39-PyMySQL.noarch                                0.10.1-2.module_el8.5.0+738+dc19af12              appstream        

//安装python3-PyMySQL这个模块
[root@master ~]# salt '*' pkg.install python3-PyMySQL
minion:
    ----------
    python3-PyMySQL:
        ----------
        new:
            0.10.1-2.module_el8.5.0+761+faacb0fb
        old:
    python3-cffi:
        ----------
        new:
            1.11.5-5.el8
        old:
    python3-cryptography:
        ----------
        new:
            3.2.1-5.el8
        old:
    python3-ply:
        ----------
        new:
            3.9-9.el8
        old:
    python3-pycparser:
        ----------
        new:
            2.14-14.el8
        old:
[root@master ~]# salt '*' cmd.run 'rpm -qa|grep python3-PyMySQL'
minion:
    python3-PyMySQL-0.10.1-2.module_el8.5.0+761+faacb0fb.noarch

1.3 部署mysql

参考官方文档https://docs.saltproject.io/en/latest/ref/returners/all/salt.returners.mysql.html#module-salt.returners.mysql

可单独用一台服务器部署，或者直接部署在master、minion上都可以

//此处我直接用脚本搭建，关于mysql的安装之前文章有
[root@mysql ~]# ss -antl
State  Recv-Q Send-Q Local Address:Port  Peer Address:Port Process                                                    
LISTEN 0      128          0.0.0.0:22         0.0.0.0:*                                                               
LISTEN 0      128             [::]:22            [::]:*                                                               
LISTEN 0      80                 *:3306             *:*    
    
//创建用于存储数据库和表结构
[root@mysql ~]# mysql -uroot -p123456
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.7.33 MySQL Community Server (GPL)

Copyright (c) 2000, 2021, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.


//创建数据库和表结构
mysql> CREATE DATABASE  `salt`
    ->   DEFAULT CHARACTER SET utf8
    ->   DEFAULT COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)

//进入库
mysql> USE `salt`;
Database changed


mysql> CREATE TABLE `jids` (
    ->   `jid` varchar(255) NOT NULL,
    ->   `load` mediumtext NOT NULL,
    ->   UNIQUE KEY `jid` (`jid`)
    -> ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.01 sec)

mysql> CREATE TABLE `salt_returns` (
    ->   `fun` varchar(50) NOT NULL,
    ->   `jid` varchar(255) NOT NULL,
    ->   `return` mediumtext NOT NULL,
    ->   `id` varchar(255) NOT NULL,
    ->   `success` varchar(10) NOT NULL,
    ->   `full_ret` mediumtext NOT NULL,
    ->   `alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    ->   KEY `id` (`id`),
    ->   KEY `jid` (`jid`),
    ->   KEY `fun` (`fun`)
    -> ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.05 sec)


mysql> CREATE TABLE `salt_events` (
    -> `id` BIGINT NOT NULL AUTO_INCREMENT,
    -> `tag` varchar(255) NOT NULL,
    -> `data` mediumtext NOT NULL,
    -> `alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    -> `master_id` varchar(255) NOT NULL,
    -> PRIMARY KEY (`id`),
    -> KEY `tag` (`tag`)
    -> ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.01 sec)


//查看创建好的数据库和表
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| salt               |
| sys                |
+--------------------+
5 rows in set (0.00 sec)

mysql> show tables;
+----------------+
| Tables_in_salt |
+----------------+
| jids           |
| salt_events    |
| salt_returns   |
+----------------+
3 rows in set (0.00 sec)



//创建用户并授权访问
mysql>  grant all on salt.* to salt@'%' identified by 'salt';
Query OK, 0 rows affected, 1 warning (0.00 sec)

//刷新权限
mysql>  flush privileges;
Query OK, 0 rows affected (0.00 sec)

mysql>

1.4 配置minion

//修改minion配置文件
[root@minion ~]# vim /etc/salt/minion
此处省略N行...
#return: mysql,slack,redis
#
#return:
#  - mysql
#  - hipchat
#  - slack

mysql.host: '192.168.249.146'  #部署mysql的服务器
mysql.port: 3306    #监听端口号
mysql.user: 'salt'  #创建的用户
mysql.pass: 'salt'  #密码
mysql.db: 'salt'    #数据库名称
mysql.unix_socket: '/tmp/mysql.sock'  #套接字
mysql.charset: 'utf8'   #字符集
此处省略N行...

//重启服务
[root@minion ~]# systemctl restart salt-minion

1.5 在Master上测试存储到mysql中

[root@master ~]# salt '*' test.ping --return mysql
minion:
    True
[root@master ~]# salt '*' test.ping 
minion:
    True

1.6 在数据库中查询验证

mysql> select * from .salt_returns \G
*************************** 1. row ***************************
       fun: test.ping
       jid: 20210708132459672274
    return: true
        id: minion
   success: 1
  full_ret: {"success": true, "return": true, "retcode": 0, "jid": "20210708132459672274", "fun": "test.ping", "fun_args": [], "id": "minion"}
alter_time: 2021-07-08 21:25:00
1 row in set, 1 warning (0.00 sec)

//我们可以看到只存储了一条数据，所以需要在后面加上 --return mysql

2. job cache

2.1 job cache流程

return时是由Minion直接与存储服务器进行交互，因此需要在每台Minion上手动安装指定的存储方式的模块，比如python-mysql模块，这样就显得并没有很自动化，不是SaltStack该有的表现。那么我们能否直接在Master上就把返回的结果给存储到存储服务器呢？

这个时候job cache应时而生，意思是当Minion将结果返回给Master后，由Master将结果给缓存在本地，然后将缓存的结果给存储到指定的存储服务器，比如存储到mysql中。

2.2 开启master端的master_job_cache

//在master端也安装一个python3-PyMySQL模块
[root@master ~]# yum -y install python3-PyMySQL

//修改master文件
[root@master ~]# vim /etc/salt/master
此处省略N行...
# Save runner returns to the job cache
#runner_returns: True#

master_job_cache: mysql
mysql.host: '192.168.249.146'
mysql.user: 'salt'
mysql.pass: 'salt'
mysql.db: 'salt'
mysql.port: 3306
此处省略N行...

//重启服务，使配置文件生效
[root@master ~]# systemctl restart salt-master

2.3 在数据库服务器中清空表内容

mysql> delete from salt_returns;
Query OK, 1 row affected (0.01 sec)

mysql> select * from .salt_returns \G
Empty set, 1 warning (0.00 sec)

2.4 在master上再次测试能否存储至数据库

[root@master ~]# salt -S '192.168.249.145' test.ping
minion:
    True
[root@master ~]# salt '*' cmd.run 'ls -l /usr/src'
minion:
    total 8
    -rw-r--r--  1 lxr  lxr  17 Jul  7 21:39 123
    -rw-r--r--  1 lxr  lxr  17 Jul  7 21:59 456
    drwxr-xr-x  2 root root 69 Jul  7 22:20 abc
    drwxr-xr-x. 2 root root  6 May 19  2020 debug
    drwxr-xr-x. 2 root root  6 May 19  2020 kernels

2.5 在数据库查询验证

mysql> select * from .salt_returns \G
*************************** 1. row ***************************
       fun: test.ping
       jid: 20210708134413119188
    return: true
        id: minion
   success: 1
  full_ret: {"cmd": "_return", "id": "minion", "success": true, "return": true, "retcode": 0, "jid": "20210708134413119188", "fun": "test.ping", "fun_args": [], "_stamp": "2021-07-08T13:44:13.428642"}
alter_time: 2021-07-08 21:44:13
*************************** 2. row ***************************
       fun: cmd.run
       jid: 20210708134525092467
    return: "total 8\n-rw-r--r--  1 lxr  lxr  17 Jul  7 21:39 123\n-rw-r--r--  1 lxr  lxr  17 Jul  7 21:59 456\ndrwxr-xr-x  2 root root 69 Jul  7 22:20 abc\ndrwxr-xr-x. 2 root root  6 May 19  2020 debug\ndrwxr-xr-x. 2 root root  6 May 19  2020 kernels"
        id: minion
   success: 1
  full_ret: {"cmd": "_return", "id": "minion", "success": true, "return": "total 8\n-rw-r--r--  1 lxr  lxr  17 Jul  7 21:39 123\n-rw-r--r--  1 lxr  lxr  17 Jul  7 21:59 456\ndrwxr-xr-x  2 root root 69 Jul  7 22:20 abc\ndrwxr-xr-x. 2 root root  6 May 19  2020 debug\ndrwxr-xr-x. 2 root root  6 May 19  2020 kernels", "retcode": 0, "jid": "20210708134525092467", "fun": "cmd.run", "fun_args": ["ls -l /usr/src"], "_stamp": "2021-07-08T13:45:25.284591"}
alter_time: 2021-07-08 21:45:25
2 rows in set, 1 warning (0.00 sec)

2.6 job管理

获取任务的jid

[root@master ~]# salt '*' cmd.run 'uptime' -v
Executing job with jid 20210708135252302305  #数字就是jid
-------------------------------------------

minion:
     21:52:52 up  1:51,  1 user,  load average: 0.00, 0.00, 0.0

通过jid获取此任务的返回结果

[root@master ~]# salt-run jobs.lookup_jid 20210708135252302305
minion:
     21:52:52 up  1:51,  1 user,  load average: 0.00, 0.00, 0.0
//可以看到和上面一模一样

3. salt-ssh介绍

salt-ssh是一个可以让我们不用在受控机上安装salt-minion客户端也能够实现自动化管理操作。

3.1 它的特点

远程系统需要Python支持，除非使用-r选项发送原始ssh命令
salt-ssh也是一个软件包，需安装之后才能使用，命令本身也是salt-ssh
salt-ssh不会取代标准的Salt通信系统，它只是提供了一个基于SSH的替代方案，不需要ZeroMQ和客户端

由于所有与Salt SSH的通信都是通过SSH执行的，所以它比使用ZeroMQ的标准Salt慢得多，一般情况下不建议使用。

3.2 salt-ssh远程管理的方式

salt-ssh有两种方式实现远程管理，一种是在配置文件中记录所有客户端的信息，诸如 IP 地址、端口号、用户名、密码以及是否支持sudo等；另一种是使用密钥实现远程管理，不需要输入密码。

3.3 salt-ssh部署

在 master 上安装 salt-ssh

[root@master ~]# yum -y install salt-ssh

3.3.1 通过使用用户名密码的SSH实现远程管理

修改配置文件，添加受控机信息

[root@master ~]# vim /etc/salt/roster

# Sample salt-ssh config file
#web1:
#  host: 192.168.42.1 # The IP addr or DNS hostname
#  user: fred         # Remote executions will be executed as user fred
#  passwd: foobarbaz  # The password to use for login, if omitted, keys are used
#  sudo: True         # Whether to sudo to root, not enabled by default
#web2:
#  host: 192.168.42.2

//添加受控端信息，可以看到上面是有示例的
minion2:
  host: 192.168.249.146
  user: root
  passwd: 123456

测试是否可以连接

//现在直接通过以下命令直接去连接需要输入密码，但是 saltstack 是不支持交互式操作的，所以为了解决这个问题，我们需要对其进行设置，让系统不进行主机验证。
[root@master ~]# salt-ssh '*' test.ping
[root@master ~]# vim ~/.ssh/config
StrictHostKeyChecking no

//再次连接
[root@master ~]# salt-ssh '*' test.ping
minion2:
    ----------
    retcode:
        10
    stderr:
        Warning: Permanently added '192.168.249.146' (ECDSA) to the list of known hosts.
        ERROR: Unable to locate appropriate python command
    stdout:
        ERROR: Python version error. Recommendation(s) follow:
        - Install Python 3 on the target machine(s)
        - You can use ssh_pre_flight or raw shell (-r) to install Python 3
//此处报错，原因是minion未安装python3，它说你可以通过 -r 选项安装python3

//根据它的提示安装python3
[root@master ~]# salt-ssh '*' -r 'yum -y install python3'
minion2:
    ----------
    retcode:
        0
    stderr:
        Failed to set locale, defaulting to C.UTF-8
    stdout:
        
        root@192.168.249.146's password: 
        Last metadata expiration check: 2:03:10 ago on Thu Jul  8 20:22:44 2021.
        Dependencies resolved.
        ================================================================================
         Package            Arch   Version                              Repo       Size
        ================================================================================
        Installing:
         python36           x86_64 3.6.8-37.module_el8.5.0+771+e5d9a225 appstream  19 k
        Upgrading:
         platform-python-pip
                            noarch 9.0.3-20.el8                         baseos    1.7 M
此处省略N行...

//验证是否安装
[root@master ~]# salt-ssh '*' -r 'rpm -qa|grep python3'
minion2:
    ----------
    retcode:
        0
    stderr:
    stdout:
        
        root@192.168.249.146's password: 
        python3-pip-wheel-9.0.3-18.el8.noarch
        python3-dateutil-2.6.1-6.el8.noarch
        python3-linux-procfs-0.6.2-2.el8.noarch
        python3-dbus-1.2.4-15.el8.x86_64
        python3-inotify-0.9.6-13.el8.noarch
        python3-slip-dbus-0.6.4-11.el8.noarch
        python3-firewall-0.8.2-3.el8.noarch
此处省略N行...

//再次连接
[root@master ~]# salt-ssh '*' test.ping
minion2:
    True

3.3.2 通过salt-ssh初始化系统安装salt-minion

执行状态命令，初始化系统，安装salt-minion

//创建存放yum源和配置文件的目录
[root@master ~]# mkdir -p /srv/salt/base/{repo,files}

//将salt的yum源和minion配置文件拷贝到创建的目录下面
[root@master ~]# cd /srv/salt/base/repo/
[root@master repo]# ls
[root@master repo]# cp /etc/yum.repos.d/salt.repo ./
[root@master repo]# ls
salt.repo
[root@master repo]# cd ../files/
[root@master files]# ls
[root@master files]# cp /etc/salt/minion ./
[root@master files]# ls
minion

//编辑状态文件
[root@master ~]# vim /srv/salt/base/repo.sls

salt-repo:
  file.managed:
    - name: /etc/yum.repos.d/salt.repo
    - source: salt://repo/salt.repo
    - user: root
    - group: root
    - mode: 644

[root@master ~]# vim /srv/salt/base/minion.sls
salt-minion-install:
  pkg.installed:
    - name: salt-minion

salt-minion-conf:
  file.managed:
    - name: /etc/salt/minion
    - source: salt://files/minion
    - user: root
    - group: root
    - mode: 644
    - template: jinja
    - default:
      ID: {{ grains['ipv4'] [1] }}
    - require:
      - pkg: salt-minion-install

salt-minion-service:
  service.running:
    - name: salt-minion
    - enable: True
    - start: True
    - watch:
       - file: /etc/salt/minion

//执行状态文件，将yum源和配置文件批量传输到minion上
[root@master ~]# salt-ssh '*' state.sls repo
[root@master ~]# salt-ssh '*' state.sls minion

//启动salt-minion
[root@master ~]# salt-ssh '*' -r 'systemctl restart salt-minion'
minion2:
    ----------
    retcode:
        0
    stderr:
    stdout:
        
        root@192.168.249.146's password:

接受公钥

[root@master ~]# salt-key -L
Accepted Keys:
minion
Denied Keys:
Unaccepted Keys:
master
minion2
Rejected Keys:
[root@master ~]# salt-key -A
The following keys are going to be accepted:
Unaccepted Keys:
master
minion2
Proceed? [n/Y] y
Key for minion master accepted.
Key for minion minion2 accepted.
[root@master ~]# salt-key -L
Accepted Keys:
master
minion
minion2
Denied Keys:
Unaccepted Keys:
Rejected Keys:

测试连通性

[root@master ~]# salt '*' test.ping
minion:
    True
minion2:
    True
minion:
    True

夜舞精狼

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
SaltStack组件return和job cache以及salt-ssh

文章目录1. 组件return1.1 return流程1.2 使用mysql作为return存储方式1.3 部署mysql1.4 配置minion1.5 在Master上测试存储到mysql中1.6 在数据库中查询验证2. job cache2.1 job cache流程2.2 开启master端的master_job_cache2.3 在数据库服务器中清空表内容2.4 在master上再次测试能否存储至数据库2.5 在数据库查询验证2.6 job管理1. 组件returnreturn组件可以理解为Sa
复制链接

扫一扫