文章目录
1 saltstack简介
- Saltstack是基于Python开发的一套C/S架构,具备Puppet、Ansible功能于一身的配置管理工具,功能十分强大,各模块融合度及复用性极高;使用号称世界上最快的消息队列ZeroMQ使得Saltstack能够秒级在数万台服务器上进行各种操作,而且使用RAS Key方式确认身份,传输采用AES加密,安全性能更高
- Saltstack不仅仅是一款配置管理工具,还是一款做云计算和数据中心架构编排利器。目前Salt-cloud项目也已经合并到Saltstack主项目里,Saltstack已经支持Docker相关模块,在友好地支持各大云平台之后,配合Saltstack的Mine实现各云平台业务自动扩展
- ZeroMQ是一种基于消息队列的多线程网络库,其对套接字类型、连接处理、帧、甚至路由的底层细节进行抽象,提供跨越多种传输协议的套接字。ZeroMQ是网络通信中新的一层,介于应用层和传输层之间(按照TCP/IP划分),其是一个可伸缩层,可并行运行,分散在分布式系统间
1.1自动化运维工具
目前常见的运维自动化管理工具主要是Puppet、SaltStack、Ansible下面分别简述它们的特点
-
Puppet特点
Puppet是早期的Linux自动化运维工具,是一种LINUX、WINDOWS、UNIX平台的集中配置管理系统,到现在已经非常成熟,可以批量管理远程服务器,模块丰富,配置复杂,基于Ruby语言编写。是最典型的C/S结构,需要安装服务端和客户端 。Puppet采用C/S星状的结构,所有的客户端和一个或者多个服务器交互,每个客户端周期地(默认半个小时)向服务器发送请求,获得最新的配置信息,保证和配置信息同步。
每个Puppet客户端周期地连接一次服务器,下载最新的配置文件,并且严格按照配置文件来配置客户端。配置完成后,Puppet客户端可以反馈给服务器端一个消息,如果出错也会给服务器端反馈一个消息。
Puppet适用于服务器管理的整个过程,比如初始安装、配置、更新等
-
SaltStack特点
SaltStack和Puppet一样,也是C/S模式,需要安装服务端和客户端,基于Python编写,加入了MQ消息同步,可以使执行命令和执行结果高效返回,但其执行过程需要等待客户端全部返回,如果客户端没有及时返回或者没有响应的话,可能会导致部分机器没有执行结果 -
Ansible特点
Ansible和SaltStack一样是基于Python开发,Ansible只需要在一台普通的服务器上运行即可,不需要在客户端服务器上安装客户端。因为Ansible基于SSH远程管理,而Linux服务器大部分都离不开SSH,所以Ansible不需要为配置添加额外的支持。Ansible安装使用都很简单,而且基于上千个插件和模块,实现各种软件、平台、版本的管理,支持虚拟容器多层级的部署。
有时候会觉得Ansible比SaltStack执行效率慢,其实并不是软件本身的问题,二是由于SSH服务慢,可以通过优化SSH连接速度和使用Ansible加速模块提高效率
1.2 Saltstac特性
- 基于python开发的C/S架构配置管理工具
- 底层使用ZeroMQ消息队列pub/sub方式通信
- 使用SSL证书签发的方式进行认证管理,传输采用AES加密
(1)、部署简单、方便;
(2)、支持大部分UNIX/Linux及Windows环境;
(3)、主从集中化管理;
(4)、配置简单、功能强大、扩展性强;
(5)、主控端(master)和被控端(minion)基于证书认证,安全可靠;
(6)、支持API及自定义模块,可通过Python轻松扩展。
2 SaltStack是什么
SaltStack是一个配置管理系统,能够维护预定义状态的远程节点
SaltStack是一个分布式远程执行系统,用来在远程节点上执行命令和查询数据
2.1 Salt是什么
Salt,是一种批量的、自动化的基础设施管理工具,部署轻松,在几分钟内可运行起来。扩展性好,很容易管理上万台服务器,且速度够快,服务器之间秒级通讯。
salt底层采用动态的连接总线, 使其可以用于远程执行, 配置管理, 任务编配等等。
开发Salt的初衷是为了将远程执行领域中发现的最佳解决方案结合在一起,使其更好,更快,更具延展性。 Salt能够通过简单且易管理的接口快速处理大量信息,管理从数十个,到数百个、甚至数千个单独的服务器。
2.2 Salt的主要功能
- 一个配置管理系统,能够将远程节点维护在一个预定义的配置状态(例如,确保安装特定的软件包并运行特定的服务,使用指定的配置参数值等);
- 一个分布式远程执行系统,用于在远程节点上单独或通过任何自定义的目标节点选择标准来执行命令和查询数据;
- 一个天然适合处理系统、网络和信息安全运维开发和自动化运维工作的基础通信服务组件。
2.3 Salt提供了以下几项核心能力
- 并行地在远程系统中执行管理命令
- 使用安全加密的协议
- 使用尽可能最小和最快的网络载荷
- 提供简单的编程接口
2.4 Salt建立在许多优秀的技术之上
- 网络层使用ZeroMQ网络库构建,因此在Salt守护程序中包含了一个透明的AMQ代理。
- Salt使用公钥与Master守护程序进行身份验证,然后使用速度更快的AES加密算法对负载通信进行加密。
- Salt利用msgpack处理通信数据的序列化,体积更小、速度更快,实现了更加快速且轻便的网络通信。
2.5 saltstack说明
-
salt是一个异构平台基础设置管理工具(虽然我们通常只用在Linux上),使用轻量级的通讯器ZMQ
-
用Python写成的批量管理工具,完全开源,遵守Apache2协议,与Puppet,Chef功能类似,有一个强大的远程执行命令引擎
-
也有一个强大的配置管理系统,通常叫做Salt State System。
-
主要作用: 远程执行、配置管理、事件驱动
a. 远程执行: 及支持 使用agent 支持 使用ssh远程执行
b. 配置管理: 如果用salt描述nginx,没有就会帮你安装,如果nginx配置不对就会帮你改对(保证机器状态和你描述一致)
-
特点:即可支持 agent 方式,也支持 ssh方式
2.6 SaltStack的服务架构
- Master:负责管理所有节点
- Minion:(相当于客户端)节点服务
- ZeroMQ:通信服务
- AES:数据加密方法
2.7 SaltStack工作原理
SaltStack 客户端(Minion)在启动时,会自动生成一套密钥,包含私钥和公钥。之后将公钥发送给服务器端,服务器端验证并接受公钥,以此来建立可靠且加密的通信连接。同时通过消息队列 ZeroMQ 在客户端与服务端之间建立消息发布连接。
Minion 是 SaltStack 需要管理的客户端安装组件,会主动去连接 Master 端,并从 Master 端得到资源状态信息,同步资源管理信息。
Master 作为控制中心运行在主机服务器上,负责 Salt 命令运行和资源状态的管理。
ZeroMQ 是一款开源的消息队列软件,用于在 Minion 端与 Master 端建立系统通信桥梁。
Daemon 是运行于每一个成员内的守护进程,承担着发布消息及通信端口监听的功能。
在saltstack架构中服务器端叫Master,客户端叫Minion。
- SaltStack 采用 C/S模式,server端就是salt的master,client端就是minion,minion与master之间通过ZeroMQ消息队列通信
- 在Master和Minion端都是以守护进程的模式运行,一直监听配置文件里面定义的ret_port(接受minion请求)和publish_port(发布消息)的端口。
- 当Minion运行时会自动连接到配置文件里面定义的Master地址ret_port端口进行连接认证
- minion上线后先与master端联系,把自己的pub key发过去,这时master端通过salt-key -L命令就会看到minion的key,接受该minion-key后,也就是master与minion已经互信
- master可以发送任何指令让minion执行了,salt有很多可执行模块,比如说cmd模块,在安装minion的时候已经自带了,它们通常位于你的python库中
3 Saltstac功能和优点
3.1 saltstack的通信端口
- master端:4505
- minion端:4506
- saltstack的master端监听4505与4506端口。4505为salt的消息发布系统,4506为salt客户端与服务端通信的端口;salt客户端程序不监听端口,客户端启动后,会主动连接master端注册,然后一直保持该TCP连接,master通过这条TCP连接对客户端控制,如果连接断开,master对客户端就无能为力了。当然,客户端若检查到断开后会定期的一直连接master端的
3.2 slatstack核心功能
- 使用命令发送到远程系统是并行而不是串行
- 使用安全加密协议
- 使用最小最快的网络载荷
- 提供简单的编程接口
3.3 slatstack优点
slatstack优点:
- 使用python开发,轻量级
- 底层采用zeromq,实现是的它很快速
- 开源,通过python写自己的模块
- 基于成熟的技术(ZeroMQ(通信),AES(数据加密))
4 SaltStack四大功能与四大运行方式
SaltStack有四大功能
- 远程执行
- 配置管理/状态管理
- 云管理(cloud)
- 事件驱动
SaltStack可以通过远程执行实现批量管理,并且通过描述状态来达到实现某些功能的目的
SaltStack四大运行方式
- local本地运行
- Master/Minion传统方式
- Syndic分布式
- Salt ssh
5 SaltStack组件介绍
组件 | 功能 |
---|---|
Salt Master | 用于将命令和配置发送到在受管系统上运行的Salt minion |
Salt Minions | 从Salt master接收命令和配置 |
Execution Modules | 从命令行针对一个或多个受管系统执行的临时命令。对…有用: 1. 实时监控,状态和库存 2. 一次性命令和脚本 3. 部署关键更新 |
Formulas (States) | Grains是有关底层受管系统的静态信息,包括操作系统,内存和许多其他系统属性。 |
Pillar | 用户定义的变量。这些安全变量被定义并存储在Salt Master中,然后使用目标“分配”给一个或多个Minion。 Pillar数据存储诸如端口,文件路径,配置参数和密码之类的值。 |
Top File | 将Formulas (States)和Salt Pillar数据与Salt minions匹配。 |
Runners | 在Salt master上执行的模块,用于执行支持任务。Salt runners报告作业状态,连接状态,从外部API读取数据,查询连接的Salt minions等。 |
Returners | 将Salt minions返回的数据发送到另一个系统,例如数据库。Salt Returners可以在Salt minion或Salt master上运行 |
Reactor | 在SaltStack环境中发生事件时触发反应 |
Salt Cloud/ Salt Virt | 在云提供商/虚拟机管理程序上提供系统,并立即将其置于管理之下。 |
Salt SSH | 在没有Salt minion的系统上通过SSH运行Salt命令。 |
6 SaltStack安装与最小化配置
环境说明
主机类型 | 主机名 | IP | 安装的应用 |
---|---|---|---|
控制机 | master | 192.168.25.146 | salt salt-cloud salt-master salt-minion salt-ssh salt-syndic |
受控机 | minion | 192.168.25.147 | salt-minion |
官方yum源地址:https://repo.saltstack.com
6.1 在控制机上安装saltstack主控端软件
//关闭防火墙
[root@master ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@master ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config
[root@master ~]# setenforce 0
//配置yum源
[root@master ~]# rpm --import https://repo.saltproject.io/py3/redhat/8/x86_64/latest/SALTSTACK-GPG-KEY.pub
[root@master ~]# curl -fsSL https://repo.saltproject.io/py3/redhat/8/x86_64/latest.repo | sudo tee /etc/yum.repos.d/salt.repo
[salt-latest-repo]
name=Salt repo for RHEL/CentOS 8 PY3
baseurl=https://repo.saltproject.io/py3/redhat/8/x86_64/latest
skip_if_unavailable=True
failovermethod=priority
enabled=1
enabled_metadata=1
gpgcheck=1
gpgkey=https://repo.saltproject.io/py3/redhat/8/x86_64/latest/SALTSTACK-GPG-KEY.pub
//清理缓存
[root@master ~]# dnf clean all
0 文件已删除
//安装saltstack主控端
[root@master ~]# dnf -y install salt-master salt-minion
CentOS Stream 8 - AppStream 107 kB/s | 16 MB 02:30
CentOS Stream 8 - BaseOS 712 kB/s | 13 MB 00:18
CentOS Stream 8 - Extras 3.3 kB/s | 16 kB 00:04
Salt repo for RHEL/CentOS 8 PY3 92 kB/s | 245 kB 00:02
依赖关系解决。
==================================================================================
软件包 架构 版本 仓库 大小
==================================================================================
安装:
salt-master noarch 3004-1.el8 salt-latest-repo 3.2 M
salt-minion noarch 3004-1.el8 salt-latest-repo 43 k
......
//修改主控端的配置文件
[root@master ~]# sed -i '/^#master:/a master: 192.168.25.146' /etc/salt/minion #IP为本机IP
//启动主控端的salt-master和salt-minion,并设置开机自启
[root@master ~]# systemctl start salt-master
[root@master ~]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
LISTEN 0 128 0.0.0.0:4505 0.0.0.0:*
LISTEN 0 128 0.0.0.0:4506 0.0.0.0:*
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
LISTEN 0 128 [::]:22 [::]:*
[root@master ~]# systemctl enable --now salt-master
Created symlink /etc/systemd/system/multi-user.target.wants/salt-master.service → /usr/lib/systemd/system/salt-master.service.
[root@master ~]# systemctl start salt-minion
[root@master ~]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
LISTEN 0 128 0.0.0.0:4505 0.0.0.0:*
LISTEN 0 128 0.0.0.0:4506 0.0.0.0:*
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
LISTEN 0 128 [::]:22 [::]:*
[root@master ~]# systemctl enable --now salt-minion
Created symlink /etc/systemd/system/multi-user.target.wants/salt-minion.service → /usr/lib/systemd/system/salt-minion.service.
6.2 在受控机上安装salt-minion客户端
//关闭防火墙
[root@minion ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@minion ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config
[root@minion ~]# setenforce 0
//配置yum源
[root@minion ~]# rpm --import https://repo.saltproject.io/py3/redhat/8/x86_64/latest/SALTSTACK-GPG-KEY.pub
[root@minion ~]# curl -fsSL https://repo.saltproject.io/py3/redhat/8/x86_64/latest.repo | sudo tee /etc/yum.repos.d/salt.repo
[salt-latest-repo]
name=Salt repo for RHEL/CentOS 8 PY3
baseurl=https://repo.saltproject.io/py3/redhat/8/x86_64/latest
skip_if_unavailable=True
failovermethod=priority
enabled=1
enabled_metadata=1
gpgcheck=1
gpgkey=https://repo.saltproject.io/py3/redhat/8/x86_64/latest/SALTSTACK-GPG-KEY.pub
//清理缓存
[root@minion ~]# dnf clean all
26 文件已删除
//在受控机上安装salt-minion
[root@minion ~]# dnf -y install salt-minion
//修改被控端的配置文件,将master设为主控端的IP
[root@minion ~]# sed -i '/^#master:/a master: 192.168.25.146' /etc/salt/minion
//启动受控端的salt-minion并设置开机自启
[root@minion ~]# systemctl enable --now salt-minion
Created symlink /etc/systemd/system/multi-user.target.wants/salt-minion.service → /usr/lib/systemd/system/salt-minion.service.
6.3 saltstack配置文件
saltstack
的配置文件在/etc/salt目录
saltstack配置文件说明
配置文件 | 说明 |
---|---|
/etc/salt/master | 主控端(控制端)配置文件 |
/etc/salt/minion | 受控端配置文件 |
配置文件/etc/salt/master
默认的配置就可以很好的工作,故无需修改此配置文件
配置文件/etc/salt/minion
常用配置参数
- master:设置主控端的IP
- id:设置受控端本机的唯一标识符,可以是ip也可以是主机名或自取某有意义的单词
在日常使用过程中,经常需要调整或修改Master配置文件,SaltStack大部分配置都已经指定了默认值,只需根据自己的实际需求进行修改即可。下面的几个参数是比较重要的
- max_open_files:可根据Master将Minion数量进行适当的调整
- timeout:可根据Master和Minion的网络状况适当调整
- auto_accept和autosign_file:在大规模部署Minion时可设置自动签证
- master_tops和所有以external开头的参数:这些参数是SaltStack与外部系统进行整合的相关配置参数
7 SaltStack认证机制
saltstack主控端是依靠openssl证书来与受控端主机认证通讯的,受控端启动后会发送给主控端一个公钥证书文件,在主控端用salt-key命令来管理证书
salt-minion与salt-master的认证过程
- minion在第一次启动时,会在/etc/salt/pki/minion/下自动生成一对密钥,然后将公钥发给master
- master收到minion的公钥后,通过salt-key命令接受该公钥。此时master的/etc/salt/pki/master/minions目录将会存放以minion id命名的公钥,然后master就能对minion发送控制指令了
//salt-key常用选项
-L //列出所有公钥信息
-a minion //接受指定minion等待认证的key
-A //接受所有minion等待认证的key
-r minion //拒绝指定minion等待认证的key
-R //拒绝所有minion等待认证的key
-f minion //显示指定key的指纹信息
-F //显示所有key的指纹信息
-d minion //删除指定minion的key
-D //删除所有minion的key
-y //自动回答yes
//查看当前证书情况
[root@master ~]# salt-key -L
Accepted Keys:
Denied Keys:
Unaccepted Keys:
master
minion
Rejected Keys:
//接受指定minion的新证书
[root@master ~]# salt-key -a minion
The following keys are going to be accepted:
Unaccepted Keys:
minion
Proceed? [n/Y] y
Key for minion minion accepted.
[root@master ~]# salt-key -L
Accepted Keys:
minion
Denied Keys:
Unaccepted Keys:
master
Rejected Keys:
//接受所有minion的新证书
[root@master ~]# salt-key -yA
The following keys are going to be accepted:
Unaccepted Keys:
master
Key for minion master accepted.
[root@master ~]# salt-key -L
Accepted Keys:
master
minion
Denied Keys:
Unaccepted Keys:
Rejected Keys:
//删除指定minion的key
[root@master salt]# salt-key -L
Accepted Keys:
master
minion
Denied Keys:
Unaccepted Keys:
Rejected Keys:
[root@master salt]# salt-key -yd minion
The following keys are going to be deleted:
Accepted Keys:
minion
Key for minion minion deleted.
[root@master salt]# salt-key -L
Accepted Keys:
master
Denied Keys:
Unaccepted Keys:
Rejected Keys:
8 SaltStack远程执行
//测试指定受控端192.168.25.147主机是否存活
[root@master salt]# salt minion test.ping
minion:
True
[root@master salt]# salt "192.168.25.147" test.ping
192.168.25.147:
True
//测试所有受控端主机是否存活
[root@master ~]# salt "*" test.ping
minion:
True
master:
True
[root@master salt]# salt "*" test.ping
192.168.25.147:
True
master:
True
9 salt命令使用
//语法:salt [options] '<target>' <function> [arguments]
//常用的options
--version //查看saltstack的版本号
--versions-report //查看saltstack以及依赖包的版本号
-h //查看帮助信息
-c CONFIG_DIR //指定配置文件目录(默认为/etc/salt/)
-t TIMEOUT //指定超时时间(默认是5s)
--async //异步执行
-v //verbose模式,详细显示执行过程
--username=USERNAME //指定外部认证用户名
--password=PASSWORD //指定外部认证密码
--log-file=LOG_FILE //指定日志记录文件
//常用target参数
-E //正则匹配
-L //列表匹配
-S //CIDR匹配网段
-G //grains匹配
--grain-pcre //grains加正则匹配
-N //组匹配
-R //范围匹配
-C //综合匹配(指定多个匹配)
-I //pillar值匹配
[root@master salt]# salt -E 'm' test.ping //正则匹配
master:
True
[root@master salt]# salt -E 'm*' test.ping
192.168.25.148:
True
192.168.25.147:
True
master:
True
[root@master salt]# salt -L '192.168.25.147,192.168.25.148' test.ping //列表匹配
192.168.25.148:
True
192.168.25.147:
True
[root@master salt]# salt -S '192.168.25.0/24' test.ping //匹配网段
192.168.25.148:
True
master:
True
192.168.25.147:
True
[root@master ~]# salt -G 'os:CentOS Stream' test.ping //grains匹配
192.168.25.147:
True
192.168.25.148:
True
master:
True
[root@master ~]# salt -C 'L@master or N@group2' test.ping //综合匹配(指定多个匹配)
192.168.25.148:
True
master:
True
//组匹配
[root@master ~]# vim /etc/salt/master
nodegroups:
group1: 192.168.25.147 #取消你要使用的组的注释
group2: 192.168.25.148
# group3: 'G@os:Debian and N@group1'
# group4:
# - 'G@foo:bar'
# - 'or'
# - 'G@foo:baz'
#修改完组的配置之后不用重启salt-master
[root@master ~]# salt -N group1 test.ping
192.168.25.147:
True
[root@master ~]# salt -N group2 test.ping
192.168.25.148:
True