1. 常用的自动化运维工具
- puppet(木偶)
- ansible
- chef(厨师)
- fabric(面料)
- saltstack(盐堆)
1.1 puppet
该工具基于ruby语言开发,是一个开源工具。它作为主客户端设置运行,采用了模型驱动的方法,相比较于Ansble和SaltStack它的安全性会高一些,它通过加密认证进行通信。puppet需要通过puppetmaste
r和puppetagent
这两个程序来进行通信管理,管理端和客户端需要通过安装不同的软件来进行管理和应用。它能够帮助系统管理员管理基础设施的整个生命周期,包括:供应(provisioning)、配置(configuration)、联动(orchestration)以及报告(reporting)。它能够管理多达40种资源,例如:file、user、group、host、package、service、cron、exec、yum repo等。
特点
- 它有最成熟的接口,几乎在每个操作系统上运行
- 能够在web界面生成处理报表资源清单、实时节点管理,push命令可即刻触发变更
- 相对于其他工具较为复杂,需要学习puppet的DSL或者Ruby,安装过程缺少错误校验和生成错误报表
1.2 ansible
该工具基于Python开发,也是一个开源工具。综合了众多老牌运维工具(puppet、cfengine、chef、func、fabric)的优点实现了批量操作系统配置、批量程序的部署、批量运行命令等功能。Ansible是基于模块工作的,本身没有批量部署的能力。真正具有批量部署的是Ansible所运行的模块,Ansible只是提供一种框架。
特点
- 易于安装和学习。
- 基于SSH,不需要在被管理的节点上安装任何代理软件。
- 跨平台支持:Ansible 提供Linux、Windows、UNIX和网络设备的无代理支持,适用于物理、虚拟、云和容器环境。
- 人类可读的自动化:Ansible Playbook采用YAML文本文件编写,易于阅读,有助于确保所有人都能理解它们的用途。
- 完美描述应用:可以通过 Ansible Playbook进行每种更改,并描述和记录应用环境的每一个方面。
- 轻松管理版本控制:Ansible Playbook和项目是纯文本。它们可以视作源代码,放在现有版本控制系统中。
- 支持动态清单:可以从外部来源动态更新 Ansible 管理的计算机列表,随时获取所有受管服务器的当前正确列表,不受基础架构或位置的影响。
- 编排可与其他系统轻松集成:能够利用环境中现有的 HP SA、Puppet、Jenkins、红帽卫星和其他系统,并且集成到 Ansible 工作流中。
1.3 chef
该工具基于ruby语言开发的一个开源工具,Chef作为主客户端模型运行,需要一个单独的工作站来控制主服务器。 编写的大多数元素都使用纯Ruby,Chef的设计是透明的,并且要遵循给出的说明,这意味着您必须确保自己的说明清晰。Chef的配置离不开Git,所以对Chef运作而言,了解Git如何工作是先决条件,非常适合以开发为重点的团队和环境。,对于寻求针对异构环境的更成熟解决方案的企业而言,这很好。
Chef的总体概念类似Puppet,因为在被管理的节点上安装有主服务器和代理软件,但实际部署又不一样。除了主服务器外,安装的Chef环境还需要工作站来控制主服务器。代理软件可以借助使用SSH来部署的knife工具从工作站加以安装,减轻了安装负担。之后,被管理的节点通过使用证书,完成与主服务器之间的验证。
特点
- 丰富的模块和配置配方集合
- 围绕Git提供强大的版本控制功能
- 代码驱动的方法为您提供了对配置的更多控制和灵活性
- 不支持推送功能
- 需要学习ruby语言
1.4 fabric
该工具基于Python开发,是一个开源工具,用于在应用程序部署中简化SSH。 它主要用于跨多个远程系统运行任务,但也可以使用插件扩展以提供更高级的功能。 Fabric将配置您的系统,执行系统/服务器管理,并自动部署您的应用程序。
特点
- 擅长部署以任何语言编写的应用程序。 它不依赖于系统架构,而是OS和包管理器
- 比这个领域的其他工具更简单,更容易部署
- 与SSH进行广泛集成,实现基于脚本的精简
- Fabric是单点故障设置(通常是您运行部署的机器)
- 虽然它是用于以大多数语言部署应用程序的出色工具,但它确实需要运行Python,因此对于Fabric,您必须在环境中至少有一些Python
1.5 saltstack
官网地址https://docs.saltproject.io/en/latest/
SaltStack(或Salt)是一个基于命令行的工具,可以设置一个主客户端模式还是非集中模式。 Salt基于Python,提供了一种推送方法和一种与客户端通信的SSH方法。 Salt允许对客户端和配置模板进行分组,以简化对环境的控制。
Salt类似Ansible,因为它也是基于CLI的工具,采用了推送方法实现客户端通信。它可以通过Git或通过程序包管理系统安装到主服务器和客户端上。客户端会向主服务器提出请求,请求在主服务器上得到接受后,就可以控制该客户端了。
Salt可以通过普通的SSH与客户端进行通信,但如果使用名为minion的客户端代理软件,可以大大增强可扩展性。此外,Salt含有一个异步文件服务器,可以为客户端加快文件服务速度,这完全是Salt注重高扩展性的一个体现。
与Ansible一样,你可以直接通过CLI,向客户端发出命令,比如启动服务或安装程序包;你也可以使用名为state的YAML配置文件,处理比较复杂的任务。还有“pillar”,这些是放在集中地方的数据集,YAML配置文件可以在运行期间访问它们。
你可以直接通过CLI,向客户端请求配置信息,比如内核版本或网络接口方面的详细信息。只要使用名为“grain”的库存元素,就可以描述客户端;这样一来,管理员可以轻松向某一种类型的服务器发出命令,不需要依赖已配置群组。比如说,只要使用一个CLI命令,你就可以向运行某个内核版本的每个客户端发送命令。
与Puppet、Chef和Ansible一样,Salt也提供了大量的模块,以处理特定的软件、操作系统和云服务。自定义模块可以用Python或PyDSL来编写。除了Unix管理外,Salt的确提供Windows管理功能,但它还是更擅长管理Unix和Linux系统。
Salt的Web用户界面Halite非常新,功能不如其他系统的Web用户界面来得全面。它提供了事件日志和客户端状态的视图,能够在客户端上运行命令,但除此之外乏善可陈。
Salt的最大优点在于可扩展性和弹性。你可以有多个级别的主服务器。上游主服务器可以控制下游主服务器及其客户端。另一个优点在于对等系统,让客户端可以向主服务器提出问题,然后主服务器从其他服务器得到答案,提供全面信息。如果需要在实时数据库中查询数据,以便完成客户端的配置,这个优点就很方便。
特点
- 完成设置阶段后,即可轻松组织和使用。
- 他们的DSL功能丰富,逻辑和状态并不需要。
- 输入,输出和配置非常一致–所有YAML。
- 内省非常好。 很容易看到Salt中发生了什么。
- 强大的社区。
- 具有奴才和层次结构层的主模型具有高可伸缩性和弹性。
- 很难设置和挑选新用户。
- 文档在介绍层面很难理解。
- Web UI比空间中的其他工具的Web UI更新,更不完整。
- 对非Linux操作系统不是很好的支持。
2. 各种工具比较
工具 | 语言 | 架构 | 协议 |
---|---|---|---|
Puppet | Ruby | C/S | HTTP |
Chef | Ruby | C/S | HTTP |
Ansible | Python | 无Client | SSH |
Saltstack | Python | C/S(可无Client) | SSH/ZMQ/RAET |
3. Saltstack
3.1 saltstack的特点
- 基于python开发的C/S架构配置管理工具
- 底层使用ZeroMQ消息队列pub/sub方式通信
- 使用SSL证书签发的方式进行认证管理,传输采用AES加密
3.2 saltstack服务架构
在saltstack架构中服务器端叫Master,客户端叫Minion。
在Master和Minion端都是以守护进程的模式运行,一直监听配置文件里面定义的ret_port(接受minion请求)和publish_port(发布消息)的端口。
当Minion运行时会自动连接到配置文件里面定义的Master地址ret_port端口进行连接认证。
saltstack除了传统的C/S架构外,其实还有一种叫做masterless的架构,其不需要单独安装一台 master 服务器,只需要在每台机器上安装 Minion端,然后采用本机只负责对本机的配置管理机制服务的模式。
3.3 SaltStack四大功能与四大运行方式
SaltStack有四大功能,分别是:
- 远程执行
- 配置管理/状态管理
- 云管理(cloud)
- 事件驱动
SaltStack可以通过远程执行实现批量管理,并且通过描述状态来达到实现某些功能的目的。
SaltStack四大运行方式:
- local本地运行
- Master/Minion传统方式
- Syndic分布式
- Salt ssh
3.4 SaltStack组件介绍
组件 | 功能 |
---|---|
Salt Master | 用于将命令和配置发送到在受管系统上运行的Salt minion |
Salt Minions | 从Salt master接收命令和配置 |
Execution Modules | 从命令行针对一个或多个受管系统执行的临时命令。对…有用: 1. 实时监控,状态和库存 2. 一次性命令和脚本 3. 部署关键更新 |
Formulas (States) | 系统配置的声明性或命令式表示 |
Grains | Grains是有关底层受管系统的静态信息,包括操作系统,内存和许多其他系统属性。 |
Pillar | 用户定义的变量。这些安全变量被定义并存储在Salt Master中, 然后使用目标“分配”给一个或多个Minion。 Pillar数据存储诸如端口,文件路径,配置参数和密码之类的值。 |
Top File | 将Formulas (States)和Salt Pillar数据与Salt minions匹配。 |
Runners | 在Salt master上执行的模块,用于执行支持任务。Salt runners报告作业状态,连接状态,从外部API读取数据,查询连接的Salt minions等。 |
Returners | 将Salt minions返回的数据发送到另一个系统,例如数据库。Salt Returners可以在Salt minion或Salt master上运行。 |
Reactor | 在SaltStack环境中发生事件时触发反应。 |
Salt Cloud / Salt Virt | 在云提供商/虚拟机管理程序上提供系统,并立即将其置于管理之下。 |
Salt SSH | 在没有Salt minion的系统上通过SSH运行Salt命令。 |
3.5 SaltStack安装与最小化配置
环境说明:
主机 | IP | 所需应用 |
---|---|---|
控制机 | 192.168.249.141 | salt salt-cloud salt-master salt-minion salt-ssh salt-syndic |
被控机 | 192.168.249.145 | salt-minion |
官方yum源地址https://repo.saltstack.com
3.5.1 在控制机上安装saltstack主控端软件
//修改主机名
[root@localhost ~]# hostnamectl set-hostname master
[root@localhost ~]# bash
[root@master ~]#
//配置yum源
[root@master ~]# rpm --import https://repo.saltproject.io/py3/redhat/8/x86_64/latest/SALTSTACK-GPG-KEY.pub
[root@master ~]# curl -fsSL https://repo.saltproject.io/py3/redhat/8/x86_64/latest.repo | tee /etc/yum.repos.d/salt.repo
[salt-latest-repo]
name=Salt repo for RHEL/CentOS 8 PY3
baseurl=https://repo.saltproject.io/py3/redhat/8/x86_64/latest
skip_if_unavailable=True
failovermethod=priority
enabled=1
enabled_metadata=1
gpgcheck=1
gpgkey=https://repo.saltproject.io/py3/redhat/8/x86_64/latest/SALTSTACK-GPG-KEY.pub
//清除缓存
[root@master ~]# yum clean all
21 files removed
//安装saltstack主控端
[root@master ~]# yum -y install salt-master salt-minion
//修改主控端的配置文件
[root@master ~]# vim /etc/salt/minion
#master: salt
master: 192.168.249.141 #添加这台主机的IP,注意master后面有空格
//启动主控端的salt-master和salt-minion,并设置开机自启
[root@master ~]# systemctl start salt-master
[root@master ~]# systemctl start salt-minion
[root@master ~]# systemctl --now enable salt-master
Created symlink /etc/systemd/system/multi-user.target.wants/salt-master.service → /usr/lib/systemd/system/salt-master.service.
[root@master ~]# systemctl --now enable salt-minion
Created symlink /etc/systemd/system/multi-user.target.wants/salt-minion.service → /usr/lib/systemd/system/salt-minion.service.
[root@master ~]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
LISTEN 0 128 0.0.0.0:4506 0.0.0.0:*
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
LISTEN 0 128 0.0.0.0:4505 0.0.0.0:*
LISTEN 0 128 [::]:22 [::]:*
3.5.2 在被控机上安装salt-minion客户端
//修改主机名
[root@localhost ~]# hostnamectl set-hostname minion
[root@localhost ~]# bash
//配置yum源
[root@minion ~]# rpm --import https://repo.saltproject.io/py3/redhat/8/x86_64/latest/SALTSTACK-GPG-KEY.pub
[root@minion ~]# curl -fsSL https://repo.saltproject.io/py3/redhat/8/x86_64/latest.repo | tee /etc/yum.repos.d/salt.repo
[salt-latest-repo]
name=Salt repo for RHEL/CentOS 8 PY3
baseurl=https://repo.saltproject.io/py3/redhat/8/x86_64/latest
skip_if_unavailable=True
failovermethod=priority
enabled=1
enabled_metadata=1
gpgcheck=1
gpgkey=https://repo.saltproject.io/py3/redhat/8/x86_64/latest/SALTSTACK-GPG-KEY.pub
[root@minion ~]# yum clean all
21 文件已删除
//安装salt-minion
[root@minion ~]# yum -y install salt-minion
//修改被控端的配置文件
[root@minion ~]# vim /etc/salt/minion
#master: salt
master: 192.168.249.141 #添加主控端的IP,注意master后面有空格
//启动并设置开机自启
[root@minion ~]# systemctl --now enable salt-minion
Created symlink /etc/systemd/system/multi-user.target.wants/salt-minion.service → /usr/lib/systemd/system/salt-minion.service.
3.6 saltstack配置文件
saltstack的配置文件在/etc/salt目录
saltstack配置文件说明:
配置文件 | 说明 |
---|---|
/etc/salt/master | 主控端(控制端)配置文件 |
/etc/salt/minion | 受控端配置文件 |
配置文件/etc/salt/master默认的配置就可以很好的工作,故无需修改此配置文件。
配置文件/etc/salt/minion常用配置参数
- master:设置主控端的IP
- id:设置受控端本机的唯一标识符,可以是ip也可以是主机名或自取某有意义的单词
在日常使用过程中,经常需要调整或修改Master配置文件,SaltStack大部分配置都已经指定了默认值,只需根据自己的实际需求进行修改即可。下面的几个参数是比较重要的
- max_open_files:可根据Master将Minion数量进行适当的调整
- timeout:可根据Master和Minion的网络状况适当调整
- auto_accept和autosign_file:在大规模部署Minion时可设置自动签证
- master_tops和所有以external开头的参数:这些参数是SaltStack与外部系统进行整合的相关配置参数
3.7 SaltStack认证机制
saltstack主控端是依靠openssl证书来与受控端主机认证通讯的,受控端启动后会发送给主控端一个公钥证书文件,在主控端用salt-key命令来管理证书。
salt-minion与salt-master的认证过程:
- minion在第一次启动时,会在/etc/salt/pki/minion/下自动生成一对密钥,然后将公钥发给master
- master收到minion的公钥后,通过salt-key命令接受该公钥。此时master的/etc/salt/pki/master/minions目录将会存放以minion id命名的公钥,然后master就能对minion发送控制指令了
//salt-key常用选项
-L //列出所有公钥信息
-a minion //接受指定minion等待认证的key
-A //接受所有minion等待认证的key
-r minion //拒绝指定minion等待认证的key
-R //拒绝所有minion等待认证的key
-f minion //显示指定key的指纹信息
-F //显示所有key的指纹信息
-d minion //删除指定minion的key
-D //删除所有minion的key
-y //自动回答yes
//查看当前证书情况
[root@master ~]# salt-key -L
Accepted Keys:
Denied Keys:
Unaccepted Keys:
master
minion
Rejected Keys:
//接受指定minion的新证书
[root@master ~]# salt-key -ya master
The following keys are going to be accepted:
Unaccepted Keys:
master
Key for minion master accepted.
[root@master ~]# salt-key -L
Accepted Keys:
master
Denied Keys:
Unaccepted Keys:
minion
Rejected Keys:
//接受所有minion的新证书
[root@master ~]# salt-key -yA
The following keys are going to be accepted:
Unaccepted Keys:
minion
Key for minion minion accepted.
[root@master ~]# salt-key -L
Accepted Keys:
master
minion
Denied Keys:
Unaccepted Keys:
Rejected Keys:
[root@master ~]# cd /etc/salt/pki/
[root@master pki]# tree
.
├── master
│ ├── master.pem
│ ├── master.pub
│ ├── minions
│ │ ├── master
│ │ └── minion
│ ├── minions_autosign
│ ├── minions_denied
│ ├── minions_pre
│ └── minions_rejected
└── minion
├── minion_master.pub
├── minion.pem
└── minion.pub
7 directories, 7 files
//删除指定minion的证书
[root@master ~]# salt-key -d master
The following keys are going to be deleted:
Accepted Keys:
master
Proceed? [N/y] y
Key for minion master deleted.
[root@master ~]# salt-key -L
Accepted Keys:
minion
Denied Keys:
Unaccepted Keys:
Rejected Keys:
//拒绝指定minion的证书
[root@master pki]# salt-key -yr master
The following keys are going to be rejected:
Unaccepted Keys:
master
Key for minion master rejected.
[root@master pki]# salt-key -L
Accepted Keys:
Denied Keys:
Unaccepted Keys:
Rejected Keys:
master
//显示指定key的指纹信息
[ro ot@master ~]# salt-key -f master
Accepted Keys:
master: 9b:ea:57:7a:0a:e8:30:54:c0:02:a5:bf:bb:36:68:63:15:66:23:a7:10:5e:8e:0b:d0:1f:03:8d:38:45:3d:cb
//显示所有key的指纹信息
[root@master ~]# salt-key -F master
Local Keys:
master.pem: e4:82:c5:ea:16:62:38:57:1c:96:44:75:56:89:34:49:ef:76:dd:09:fd:8d:88:9f:32:20:11:e4:9f:95:ac:d5
master.pub: fb:ef:d1:24:59:7f:a0:32:5d:19:21:82:66:14:c8:58:43:31:fc:cb:7b:ca:ae:93:86:c6:9f:4c:27:d0:a6:f8
Accepted Keys:
master: 9b:ea:57:7a:0a:e8:30:54:c0:02:a5:bf:bb:36:68:63:15:66:23:a7:10:5e:8e:0b:d0:1f:03:8d:38:45:3d:cb
minion: 87:ea:a1:b0:26:83:31:71:58:6e:72:af:c7:07:c9:9f:9c:67:43:50:13:dc:95:57:96:2a:ab:28:6a:b8:a3:2f
3.8 saltstack远程执行
//测试指定受控端是否存活
[root@master ~]# salt 'master' test.ping
master:
True
[root@master ~]# salt 'minion' test.ping
minion:
True
//测试所有受控端主机是否存活
[root@master ~]# salt '*' test.ping
master:
True
minion:
True
3.9 salt命令使用
//语法:salt [options] '<target>' <function> [arguments]
//常用的options
--version //查看saltstack的版本号
--versions-report //查看saltstack以及依赖包的版本号
-h //查看帮助信息
-c CONFIG_DIR //指定配置文件目录(默认为/etc/salt/)
-t TIMEOUT //指定超时时间(默认是5s)
--async //异步执行
-v //verbose模式,详细显示执行过程
--username=USERNAME //指定外部认证用户名
--password=PASSWORD //指定外部认证密码
--log-file=LOG_FILE //指定日志记录文件
//常用target参数
-E //正则匹配
-L //列表匹配
-S //CIDR匹配网段
-G //grains匹配
--grain-pcre //grains加正则匹配
-N //组匹配
-R //范围匹配
-C //综合匹配(指定多个匹配)
-I //pillar值匹配