自动化运维工具 SaltStack (四) (Job概念+将job存储在数据库中的两种方式)

Job的概念

1.master在下发指令任务时，会附带上产生的jid。

Jid： job id 格式为%Y%m%d%H%M%S%f

2.minion在接收到指令开始执行时，会在本地的/var/cache/salt/minion/proc目录下产生该jid命名的文件，用于在执行过程中master查看当前任务的执行情况。指令执行完毕将结果传送给master后，删除该临时文件。

3.Job缓存默认保存24小时：

# vim /etc/salt/master
keep_jobs: 24

master端Job缓存目录：

/var/cache/salt/master/jobs

job管理中的基本命令

saltutil模块中的job管理方法

saltutil.running        #查看minion当前正在运行的jobs

saltutil.find_job <jid>    #查看指定jid的job（minion正在运行的jobs）

saltutil.signal_job <jid>  <single>  #给指定的jid进程发送信号

saltutil.term_job <jid>  #终止指定的jid进程（信号为15）

saltutil.kill_job  <jid>   #终止指定的jid进程（信号为9）

salt runner中的job管理方法

salt-run  jobs.active  #查看所有minion当前正在运行的jobs（在所有minion上运行saltutil.running)

salt-run jobs.lookup_jid <jid#从master jobs cache中查询指定的jid的运行结果

salt-run jobs.list_jobs  #列出当前master jobs cache中的所有job

将job存储到数据库

除了默认作业缓存之外，Salt还提供了两种额外的机制来将作业结果发送到其他系统（数据库，本地系统日志和其他系统）：

External Job Cache
Master Job Cache

这两种机制之间的主要区别在于返回结果是来自Salt Master还是Salt Minion。

官方文档:

http://docs.saltstack.cn/ref/returners/all/salt.returners.mysql.html#module-salt.returners.mysql

External Job Cache

配置外部作业缓存后，数据会像往常一样返回Salt Master上的默认
作业缓存，然后使用Salt Minion上运行的Salt返回器模块将结果发送到外部作业缓存。

优点：存储数据时不会在Salt Master上增加额外负载。
缺点：每个Salt Minion都连接到外部作业缓存，这可能会导致大量连接。 还需要额外的配置才能在所有Salt Minions上获得返回者模块设置。

实验背景:

172.25.2.3 ser2 salt-master
172.25.2.4 ser3 salt-minion
172.25.2.5 ser4 salt-minion

实验步骤：

1.在ser2上安装数据库:

yum install -y mariadb-server
systemctl start mariadb

2.创建数据库

CREATE DATABASE  `salt`
  DEFAULT CHARACTER SET utf8
  DEFAULT COLLATE utf8_general_ci;

USE `salt`;

--
-- Table structure for table `jids`
--

DROP TABLE IF EXISTS `jids`;
CREATE TABLE `jids` (
  `jid` varchar(255) NOT NULL,
  `load` mediumtext NOT NULL,
  UNIQUE KEY `jid` (`jid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

--
-- Table structure for table `salt_returns`
--

DROP TABLE IF EXISTS `salt_returns`;
CREATE TABLE `salt_returns` (
  `fun` varchar(50) NOT NULL,
  `jid` varchar(255) NOT NULL,
  `return` mediumtext NOT NULL,
  `id` varchar(255) NOT NULL,
  `success` varchar(10) NOT NULL,
  `full_ret` mediumtext NOT NULL,
  `alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
  KEY `id` (`id`),
  KEY `jid` (`jid`),
  KEY `fun` (`fun`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

--
-- Table structure for table `salt_events`
--

DROP TABLE IF EXISTS `salt_events`;
CREATE TABLE `salt_events` (
`id` BIGINT NOT NULL AUTO_INCREMENT,
`tag` varchar(255) NOT NULL,
`data` mediumtext NOT NULL,
`alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
`master_id` varchar(255) NOT NULL,
PRIMARY KEY (`id`),
KEY `tag` (`tag`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

3.将数据库导入到mariadb，并且进行授权。

[root@ser2 ~]#mysql -uroot -pwestos< add.sql
[root@ser2 ~]# mysql
MariaDB [(none)]> use salt;
MariaDB [salt]> show tables;
+----------------+
| Tables_in_salt |
+----------------+
| jids           |
| salt_events    |
| salt_returns   |
+----------------+
3 rows in set (0.00 sec)
MariaDB [salt]> grant all on salt.* to salt@'%' identified by 'salt'; # 授权所有主机可登陆
Query OK, 0 rows affected (0.00 sec)
MariaDB [salt]> grant all on salt.* to salt@'localhost' identified by 'salt';

4.minion端安装python的mysql模块，才能使得 salt能够连接mysql

[root@ser3 ~]# yum install -y MySQL-python.x86_64 # 安装mysql的接口
[root@ser3 ~]# vim /etc/salt/minion
return: mysql
mysql.host: '172.25.2.3'
mysql.user: 'salt'
mysql.pass: 'salt'
mysql.db: 'salt'
mysql.port: 3306

[root@server3 ~]# yum install -y mysql
[root@server3 ~]# mysql -h 172.25.3.3 -usalt -p  # 可以登陆并查看数据库
MariaDB [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| salt               |
| test               |
+--------------------+
3 rows in set (0.00 sec)

[root@server3 ~]# systemctl restart salt-minion
测试：
[root@server2 ~]# salt server3 test.ping --return mysql
server3:
    True

5.在master端进行测试
(1)


(2)

Master Job Cache

配置主作业缓存以从Salt Master发送作业结果，而不是在每个Salt Minion上配置外部作业缓存。
在此配置中，Salt Minions像往常一样将数据发送到默认作业缓存，然后Salt Master使用在Salt Master上运行的Salt返回器模块将数据发送到外部系统。

1.优点：外部系统需要单个连接。 这对于数据库和类似系统来说是首选。
2.缺点：在Salt Master上增加额外负载

实验步骤:

[root@ser2 ~]# yum install -y MySQL-python.x86_64

[root@ser2 ~]# vim /etc/salt/master
master_job_cache: mysql
mysql.host: 'localhost'
mysql.user: 'salt'
mysql.pass: 'salt'
mysql.db: 'salt'
mysql.port: 3306

[root@ser2 ~]# systemctl restart salt-master

1.2.测试