Ansible相关内容梳理

在实际工作中，维护服务或者服务器多少都会产生一定的数量级，如果一台一台的修改参数，不仅工作量多且重复枯燥。需要用到自动化运维，那么自动化运维的应用场景有如下：文件传输、应用部署、配置管理、任务流编排。

常用自动化运维工具

  Ansible：python，Agentless，中小型应用环境

   Saltstack：python，一般需部署agent，执行效率更高

   Puppet：ruby, 功能强大，配置复杂，重型，适合大型环境

   Fabric：python，agentless

   Chef：ruby，国内应用少

   Cfengine

   func

   越往后面用的越少

1、Ansible 介绍和架构

   公司计划在年底做一次大型市场促销活动，全面冲刺下交易额，为明年的上市做准备。公司要求各业务组对年底大促做准备，运维部要求所有业务容量进行三倍的扩容，并搭建出多套环境可以共开发和测试人员做测试，运维老大为了在年底有所表现，要求运维部门同学尽快实现，当你接到这个任务时，有没有更快的解决方案？

1.1、Ansible发展史

作者：Michael DeHaan（ Cobbler 与 Func 作者）

ansible 的名称来自科幻小说《安德的游戏》中跨越时空的即时通信工具，使用它可以在相距数光年的距离，远程实时控制前线的舰队战斗。
2012-03-09，发布0.0.1版，2015-10-17，Red Hat宣布1.5亿美元收购

官网：https://www.ansible.com/
官方文档：https://docs.ansible.com/

1.2、Ansible 特性

 非服务类型：没有service文件，也不需要设置为开机自启动等操作，因为它是有需求才会连接或者执行任务。

模块化：playbook，调用特定的模块完成特定任务，支持自定义模块，可使用任何编程语言写模块

 Paramiko（python对ssh的实现），PyYAML，Jinja2（模板语言）三个关键模块
基于Python语言实现

部署简单，基于python和SSH(默认已安装)，agentless，无需代理不依赖PKI（无需ssl）
安全，基于OpenSSH
幂等性：一个任务执行1遍和执行n遍效果一样，不因重复执行带来意外情况
支持playbook编排任务，YAML格式，编排任务，支持丰富的数据结构
较强大的多层解决方案 role

1.3、Ansible架构

1.3.1、Ansible 组成

组合INVENTORY、API、MODULES、PLUGINS的绿框，为ansible命令工具，其为核心执行工具。

  

    INVENTORY：Ansible管理主机的清单/etc/anaible/hosts
MODULES：Ansible执行命令的功能模块，多数为内置核心模块，也可自定义
PLUGINS：模块功能的补充，如连接类型插件、循环插件、变量插件、过滤插件等，该功能不常用
API：供第三方程序调用的应用程序编程接口

  1.3.2、Ansible 命令执行来源

    USER 普通用户，即SYSTEM ADMINISTRATOR
PLAYBOOKS：任务剧本（任务集），编排定义Ansible任务集的配置文件，由Ansible顺序依次执
行，通常是JSON格式的YML文件
CMDB（配置管理数据库） API 调用
PUBLIC/PRIVATE CLOUD API调用
USER-> Ansible Playbook -> Ansibile

  1.3.3 注意事项

         执行ansible的主机一般称为主控端，中控，master或堡垒机，只需要主控端安装ansible，被控制端不需要安装
主控端Python版本需要2.6或以上
 被控端Python版本小于2.4，需要安装python-simplejson
 被控端如开启SELinux需要安装libselinux-python
 windows 不能做为主控端

 2、 Ansible 安装和入门

ansible的安装方法有多种，我在centos7和centos8上都用yum 安装，问题百出，环境不同吧，最后用源码编译方式装上了，但是为了记录学习，下面依旧写上各个安装方式。

  2.1、EPEL源的rpm包安装

   yum install epel-release

yum install ansible

  2.2、编译安装

     yum -y install python-jinja2 PyYAML python-paramiko python-babel python-crypto

     tar -xvf ansible-2.9.27.tar.gz

     cd ansible-2.9.27/

 python setup.py build

     python setup.py install

mkdir /etc/ansible

cp -r examples/*  /etc/ansible

安装包在官网或者第三方平台取。

2.3、Git方式

git clone git://github.com/ansible/ansible.git --recursive
cd ./ansible
source ./hacking/env-setup

2.4、pip 安装

pip 是安装Python包的管理器，类似 yum

yum install python-pip python-devel
yum install gcc glibc-devel zibl-devel rpm-bulid openssl-devel
pip install --upgrade pip
pip install ansible –upgrade

可以看到ansible是否安装以及详情

 

3、Ansible 相关文件

3.1、配置文件

/etc/ansible/ansible.cfg 主配置文件，配置ansible工作特性
/etc/ansible/hosts 主机清单
/etc/ansible/roles/ 存放角色的目录

3.1.1、ansible主配置文件

 Ansible 的配置文件 /etc/ansible/ansible.cfg ,其中大部分的配置内容无需进行修改

 

以下参数需要打开：

log_path = /var/log/ansible.log

host_key_checking = False

或者改ssh文件的配置文件StrictHostKeyChecking no

3.1.2、inventory 主机清单

 ansible的主要功用在于批量主机操作，为了便捷地使用其中的部分主机，可以在inventory file中将其分组命名，批量化好管理；也可以单独一台主机命名。

默认的inventory file为 /etc/ansible/hosts

inventory file可以有多个，且也可以通过Dynamic Inventory来动态生成

 主机清单文件格式

 inventory文件遵循INI文件风格，中括号中的字符为组名。可以将同一个主机同时归并到多个不同的组中，此外，当如若目标主机使用了非默认的SSH端口，还可以在主机名称之后使用冒号加端口号来标明。
如果主机名称遵循相似的命名模式，还可以使用列表的方式标识各主机。

例子：

     

4、Ansible相关工具

    /usr/bin/ansible 主程序，临时命令执行工具
/usr/bin/ansible-doc 查看配置文档，模块功能查看工具,相当于man
/usr/bin/ansible-playbook 定制自动化任务，编排剧本工具,相当于脚本
/usr/bin/ansible-pull 远程执行命令的工具
/usr/bin/ansible-vault 文件加密工具
/usr/bin/ansible-console 基于Console界面与用户交互的执行工具
/usr/bin/ansible-galaxy 下载/上传优秀代码或Roles模块的官网平台

 利用ansible实现管理的主要方式：

    Ad-Hoc 即利用ansible命令，主要用于临时命令使用场景
Ansible-playbook 主要用于长期规划好的，大型项目的场景，需要有前期的规划过程

4.1、ansible-doc

  此工具用来显示模块帮助

格式

  ansible-doc [options] [module...]
-l, --list #列出可用模块
-s, --snippet #显示指定模块的playbook片段

例子：

列出所有模块 ansible-doc -l

查看指定(ping)模块帮助用法 ansible-doc ping

-s 简单帮助描述

  

查看主机清单

ansible all --list

ansible service –list

ansible mysql --list

4.2、ansible

此工具通过ssh协议，实现对远程主机的配置管理、应用部署、任务执行等功能
建议：使用此工具前，先配置ansible主控端能基于密钥认证的方式联系各个被管理节点

例子：利用sshpass批量实现基于key验证脚本

cat push_ssh_key.sh

#!/bin/bash

IPLIST=" 

192.168.48.121

192.168.48.118

192.168.48.110"      

rpm -q sshpass &> /dev/null || yum -y install sshpass

[ -f /root/.ssh/id_rsa ] || ssh-keygen -f /root/.ssh/id_rsa -P ''

export SSHPASS=123456

for IP in $IPLIST;do

sshpass -e ssh-copy-id -o StrictHostKeyChecking=no $IP

done

执行脚本，使其达到免密效果

sh push_ssh_key.sh

ansible的Host-pattern

用于匹配被控制的主机的列表

All ：表示所有Inventory中的所有主机

*.支持通配符

  ansible "*" -m ping
ansible 192.168.1.* -m ping
ansible "srvs" -m ping

或关系

  ansible service:mysql -m ping

  ansible "192.168.1.10:192.168.1.20" -m ping

逻辑与

  ansible service:&mysql -m ping

逻辑非

  #在websrvs组，但不在dbsrvs组中的主机
#注意：此处为单引号
ansible 'websrvs:!dbsrvs' –m ping

综合逻辑

  ansible 'websrvs:dbsrvs:&appsrvs:!ftpsrvs' –m ping

正则表达式

  

例子：

测试连通性 ansible all  -m ping

   

ansible命令执行过程

1. 加载自己的配置文件 默认/etc/ansible/ansible.cfg
2. 加载自己对应的模块文件，如：command
3. 通过ansible将模块或命令生成对应的临时py文件，并将该文件传输至远程服务器的对应执行用户$HOME/.ansible/tmp/ansible-tmp-数字/XXX.PY文件
4. 给文件+x执行
5. 执行并返回结果
6. 删除临时py文件，退出

ansible 的执行状态：

  绿色：执行成功并且不需要做改变的操作
黄色：执行成功并且对目标主机做变更
红色：执行失败

ansible使用范例

#以wang用户执行ping存活检测
ansible all -m ping -u wang -k
#以wang sudo至root执行ping存活检测
ansible all -m ping -u wang -k -b
#以wang sudo至mage用户执行ping存活检测
ansible all -m ping -u wang -k -b --become-user=mage
#以wang sudo至root用户执行ls
ansible all -m command -u wang -a 'ls /root' -b --become-user=root -k -K

4.3、ansible-playbook

 此工具用于执行编写好的 playbook 任务，类似于shell脚本。

 脚本文件为yaml格式，遵循严格的缩进格式，如果缩进一个字符，那么整个文件缩进也全部要统一

例子：

   

4.4、ansible-vault

此工具可以用于加密解密yml文件

格式：

  ansible-vault [create|decrypt|edit|encrypt|rekey|view

例子：

  ansible-vault encrypt hello.yml #加密

ansible-vault decrypt hello.yml #解密
ansible-vault view hello.yml #查看
ansible-vault edit hello.yml #编辑加密文件
ansible-vault rekey hello.yml #修改口令
ansible-vault create new.yml #创建新文件

4.5、ansible-console

此工具可交互执行命令，支持tab，ansible 2.0+新增

提示符格式:

执行用户@当前操作的主机组 (当前组的主机数量)[f:并发数]$

常用子命令:

  设置并发数： forks n 例如： forks 10
切换组： cd 主机组 例如： cd web
列出当前组主机列表： list
列出所有的内置命令： ?或help

例子：

 [root@ansible ~]#ansible-console
Welcome to the ansible console.
Type help or ? to list commands.
root@all (3)[f:5]$ list
10.0.0.8
10.0.0.7
10.0.0.6
root@all (3)[f:5]$ cd websrvs
root@websrvs (2)[f:5]$ list
10.0.0.7
10.0.0.8
root@websrvs (2)[f:5]$ forks 10
root@websrvs (2)[f:10]$ cd appsrvs
root@appsrvs (2)[f:5]$ yum name=httpd state=present
root@appsrvs (2)[f:5]$ service name=httpd state=started

4.6、ansible-galaxy

此工具会连接 https://galaxy.ansible.com 下载相应的roles

例子：

 #列出所有已安装的galaxy
ansible-galaxy list

ansible-galaxy install geerlingguy.ntp --ignore-errors

  

列出所有已安装的galaxy

ansible-galaxy list

  

安装galaxy

ansible-galaxy install geerlingguy.redis

删除galaxy

ansible-galaxy remove geerlingguy.redis

ansible-pull

推送命令至远程，效率无限提升，对运维要求较高

5、Ansible常用模块

2015年底270多个模块，2016年达到540个，2018年01月12日有1378个模块，2018年07月15日1852个模块,2019年05月25日（ansible 2.7.10）时2080个模块，2020年03月02日有3387个模块。
    虽然模块众多，但最常用的模块也就2，30个而已，针对特定业务只用10几个模块
常用模块帮助文档参考：
https://docs.ansible.com/ansible/latest/modules/modules_by_category.htm

5.1、Command 模块

  功能：在远程主机执行命令，此为默认模块，可忽略-m选项

注意：此命令不支持 $VARNAME < > | ; & 等，用shell模块实现

例子如下：

ansible all -m command -a "chdir=/data ls"

ansible all -m command -a "creates=/etc/fstab  ls"

含义：如果文件存在，就不执行后面命令

5.2、script 模块

亮点功能：在远程主机上运行ansible服务器上的脚本(无需执行权限)，脚本只存放在ansible服务器上，远程服务器无需上传

 

5.3、copy 模块

亮点功能：从ansible服务器主控端复制文件到远程主机

#如目标存在，默认覆盖，此处指定先备份
ansible mysql  -m copy -a "src=/data/single.sh  dest=/tmp/single.sh  owner=ttyang

mode=600 backup=yes"

 

#指定内容，直接生成目标文件

content 生成一个新文件，文件内容就是引号里的内容,
ansible mysql -m copy -a "content='test line1\ntest line2' dest=/tmp/test.txt"

 

到目的端查看文件内容 \n为换行符

 

#复制/etc目录自身,注意/etc/后面没有/
ansible mysql -m copy -a “src=/etc dest=/backup”

 

到目的服务器查看

   

#复制/etc/下的文件，不包括/etc/目录自身,注意/etc/后面有/
ansible websrvs -m copy -a "src=/etc/ dest=/backup"

cemtos6存放主机名位置

vim /etc/sysconfig/network

centos7 /8/Ubunto存放主机名位置

vim /etc/hostname

5.4、Fetch 模块

功能：从远程主机提取文件至ansible的主控端，copy相反，目前不支持目录

ansible mysql -m fetch -a 'src=/data/all.sql  dest=/data/'

 

从ansible主控制端查看，文件存在目录为如下截图所示；

 

5.5、File 模块

功能：设置文件属性

例子：

#创建空文件，设置属组、属主
ansible all -m file -a 'path=/data/test.txt state=touch'
ansible all -m file -a 'path=/data/test.txt state=absent'
ansible all -m file -a "path=/root/test.sh  owner=wang mode=755"
#创建目录
ansible all -m file -a "path=/data/mysql state=directory owner=mysql
group=mysql"
#创建软链接
ansible all -m file -a 'src=/data/testfile dest=/data/testfile-link state=link'

5.6、unarchive模块

功能：解包解压缩

实现有两种用法：
1、将ansible主机上的压缩包传到远程主机后解压缩至特定目录，设置copy=yes
2、将远程主机上的某个压缩包解压缩到指定路径下，设置copy=no

常见参数：
copy：默认为yes，当copy=yes，拷贝的文件是从ansible主机复制到远程主机上，如果设置为
copy=no，会在远程主机上寻找src源文件
remote_src：和copy功能一样且互斥，yes表示在远程主机，不在ansible主机，no表示文件在ansible主机上
src：源路径，可以是ansible主机上的路径，也可以是远程主机(被管理端或者第三方主机)上的路径，如果是远程主机上的路径，则需要设置copy=no
dest：远程主机上的目标路径
mode：设置解压缩后的文件权限

例子：

ansible all -m unarchive -a 'src=/data/foo.tgz dest=/var/lib/foo owner=wang
group=bin'
ansible all -m unarchive -a 'src=/tmp/foo.zip dest=/data copy=no mode=0777'
ansible all -m unarchive -a 'src=https://example.com/example.zip dest=/data
copy=no'

5.7、Archive 模块

功能：打包压缩保存在被管理节点

例子：

 ansible websrvs -m archive -a 'path=/var/log/ dest=/data/log.tar.bz2 format=bz2
owner=wang mode=0600

5.8、Hostname 模块

功能：管理主机名，此模块一般不批量处理，因为不同主机如果改为同一个主机名称将毫无意义

ansible node1 -m hostname -a "name=websrv"
ansible 10.0.0.18 -m hostname -a 'name=node18.magedu.com

5.9、Cron 模块

功能：计划任务
支持时间：minute，hour，day，month，weekday

 例子,直接贴了老师的图

   

5.10、yum模块

功能：管理软件包，只支持RHEL，CentOS，fedora，不支持Ubuntu其它版本
例子：

ansible websrvs -m yum -a 'name=httpd'

  

5.11、Service 模块

功能：管理服务

启动并设置为开机自启：

ansible websrvs -m service  -a 'name=httpd state=started enabled=yes'

可以看出为启动且开机自启状态

     

5.12、User 模块

功能：管理用户

例子：

#创建用户
ansible all -m user -a 'name=user1 comment="test user" uid=2048 home=/app/user1
group=root'
ansible all -m user -a 'name=nginx comment=nginx uid=88 group=nginx
groups="root,daemon" shell=/sbin/nologin system=yes create_home=no
home=/data/nginx non_unique=yes'
#remove=yes表示删除用户及家目录等数据,默认remove=no
ansible all -m user -a 'name=nginx state=absent remove=yes'

删除用户及家目录等数据

ansible srv -m user -a ‘name=user1 state=absent remove=yes‘

remove 参数，删除家目录

5.13、Group 模块

功能：管理组

例子：

#创建组
ansible websrvs -m group -a 'name=nginx gid=88 system=yes'
#删除组
ansible websrvs -m group -a 'name=nginx state=absent'

5.14、user模块

 功能：管理用户

 例子：

 #创建用户
ansible all -m user -a 'name=user1 comment="test user" uid=2048 home=/app/user1
group=root'

ansible all -m user -a 'name=nginx comment=nginx uid=88 group=nginx
groups="root,daemon" shell=/sbin/nologin system=yes create_home=no
home=/data/nginx non_unique=yes'

#remove=yes表示删除用户及家目录等数据,默认remove=no

ansible all -m user -a 'name=nginx state=absent remove=yes'

5.15、Lineinfile 模块

ansible在使用sed进行替换时，经常会遇到需要转义的问题，而且ansible在遇到特殊符号进行替换时，存在问题，无法正常进行替换 。其实在ansible自身提供了两个模块：lineinfile模块和replace模块，可以方便的进行替换。

功能：相当于sed，可以修改文件内容

 例子：

  ansible websrvs -m lineinfile -a "path=/etc/httpd/conf/httpd.conf regexp='^Listen' line='Listen 80'"
  ansible all -m lineinfile -a "path=/etc/selinux/config regexp='^SELINUX='
line='SELINUX=disabled'"
  ansible all -m lineinfile -a 'dest=/etc/fstab state=absent regexp="^#"

5.16、Replace 模块

该模块有点类似于sed命令，主要也是基于正则进行匹配和替换，建议使用

例子：

  ansible all -m replace -a "path=/etc/fstab regexp='^(UUID.*)' replace='#\1'"
ansible all -m replace -a "path=/etc/fstab regexp='^#(.*)' replace='\1'"

5.17、Setup模块

功能： setup 模块来收集主机的系统信息，这些 facts 信息可以直接以变量的形式使用，但是如果主机较多，会影响执行速度，可以使用 gather_facts: no 来禁止 Ansible 收集 facts信息

 ansible mysql   -m setup -a "filter=ansible_name"

例子：

       

ansible系列命令

Ansible Galaxy