Linux企业实战之自动化运维工具（五）——SaltStack（5）

Job管理

（1）Job简介

• master在下发指令任务时，会附带上产生的jid（job id）。
• minion在接收到指令开始执行时，会在本地的/var/cache/salt/minion/proc目录下产生该jid命名的文件，用于在执行过程中master查看当前任务的执行情况。
• 指令执行完毕将结果传送给master后，删除该临时文件。

（2）Job Cache

• Job缓存默认保存24小时

vim /etc/salt/master

• master端Job缓存目录:

  /var/cache/salt/master/jobs
  

（3） 把Job存储到数据库

由于job的缓存机制是minion和master都会存有job的缓存，所以我们可以想办法将缓存的信息，放置到外部的数据库上，由于minion和master上都会有job缓存，所以我们有两种方法来将job的缓存放到数据库中，一种是从minion端来采集，一种是从master端来进行采集

• 第一种形式是从minion上来直接获取job cache然后存放到数据库中

• 这种方式的优缺点：

  • 优点：存储数据时不会给Salt Master增加额外的负载。
  • 缺点： 每个Salt Minion都连接到外部Job cache，这会导致大量连接。还需要额外的配置去获取设置在所有Salt Minion上的返回模块。

• 部署这种外部存储

  • 实验环境

server1	salt-master，在其上安装数据库
server2	salt-minion
server3	salt-minion

• 步骤一：在server1上安装数据库，并进行相关数据库的创建，用户创建，以及授权

yum install -y mariadb-server
systemctl start mariadb

vim add.sql

CREATE DATABASE  `salt`
  DEFAULT CHARACTER SET utf8
  DEFAULT COLLATE utf8_general_ci;

USE `salt`;

--
-- Table structure for table `jids`
--

DROP TABLE IF EXISTS `jids`;
CREATE TABLE `jids` (
  `jid` varchar(255) NOT NULL,
  `load` mediumtext NOT NULL,
  UNIQUE KEY `jid` (`jid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

--
-- Table structure for table `salt_returns`
--

DROP TABLE IF EXISTS `salt_returns`;
CREATE TABLE `salt_returns` (
  `fun` varchar(50) NOT NULL,
  `jid` varchar(255) NOT NULL,
  `return` mediumtext NOT NULL,
  `id` varchar(255) NOT NULL,
  `success` varchar(10) NOT NULL,
  `full_ret` mediumtext NOT NULL,
  `alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
  KEY `id` (`id`),
  KEY `jid` (`jid`),
  KEY `fun` (`fun`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

--
-- Table structure for table `salt_events`
--

DROP TABLE IF EXISTS `salt_events`;
CREATE TABLE `salt_events` (
`id` BIGINT NOT NULL AUTO_INCREMENT,
`tag` varchar(255) NOT NULL,
`data` mediumtext NOT NULL,
`alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
`master_id` varchar(255) NOT NULL,
PRIMARY KEY (`id`),
KEY `tag` (`tag`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;


mysql< add.sql

上述的sql文件来源于http://docs.saltstack.cn/ref/returners/all/salt.returners.mysql.html#module-salt.returners.mysql，这里提供了一个数据库创建的文件，供我们测试使用

• 步骤二： 在minion端进行python数据库模块的安装，以及配置文件的修改

这里需要解决一个问题，minion是如何连接数据库的？由于我们的saltstack是用python语言编写的工具，在python中我们要连接数据库，就需要调用python中的数据库模块，所以在这里我们需要在minion上先安装数据库模块的相关软件，然后在minion中开启数据库的相关参数，这样minion就可以连接数据库了

yum search mysql						#搜索数据库相关的软件
yum install -y MySQL-python.x86_64		#安装python的mysql模块

vim /etc/salt/minion
yum install -y mysql     					#安装一个mysql客户端
mysql -h 192.168.43.101 -usalt -psalt salt	#测试是否能够连接到master上的数据库
systemctl restart salt-minion				#由于minion的主配置文件做了修改所以重启minion才能够生效

salt server2 test.ping  --return mysql     #将serve让上的job cache返回到数据库中

mysql  -usalt -psalt salt
show tables;
select * from salt_returns;

salt-run jobs.list_jobs		    #列出当前master jobs cache中所有job
salt-run jobs.lookup_jid <jid>  #从master jobs cache中查询指定jid的运行结果

• 第二种形式是从master上来获取job cache然后存放到数据库中

• 这种方式的优缺点：

  • 优点：外部系统需要单一连接。这是数据库和类似系统的首选。
  • 缺点： 在Salt Master上增加额外的负载

• 部署这种外部存储

  • 实验环境

server1	salt-master，在其上安装数据库
server2	salt-minion
server3	salt-minion

• 步骤一：在master上安装python数据库模块，然后修改master的主配置文件，重启master

yum install -y MySQL-python.x86_64			#安装Python的数据库模块
vim /etc/salt/master
systemctl restart salt-master				#重新启动master

• 步骤二： 测试，进入数据库查看存在的job cache