linux进阶-运维自动化工具之ansible

云计算运维工程师核心职能

ansible特性

• 模块化：调用特定的模块，完成特定任务
• Paramiko（python对ssh的实现），PyYAML，Jinja2（模板语言）三个关键模块
• 支持自定义模块
• 基于Python语言实现
• 部署简单，基于python和SSH(默认已安装)，agentless
• 安全，基于OpenSSH
• 支持playbook编排任务
• 幂等性：一个任务执行1遍和执行n遍效果一样，不因重复执行带来意外情况
• 无需代理不依赖PKI（无需ssl）
• 可使用任何编程语言写模块
• YAML格式，编排任务，支持丰富的数据结构
• 较强大的多层解决方案role

ansible架构

ansible组成部分

组合INVENTORY、API、MODULES、PLUGINS的绿框，可以理解为是ansible命令工具，其为核心执行工具

• INVENTORY：Ansible管理主机的清单/etc/anaible/hosts
• MODULES：Ansible执行命令的功能模块，多数为内置核心模块，也可自定义
• PLUGINS：模块功能的补充，如连接类型插件、循环插件、变量插件、过滤插件等，该功能不常用
• API：供第三方程序调用的应用程序编程接口

ansible命令执行来源

• USER 普通用户，即SYSTEM ADMINISTRATOR
• PLAYBOOKS：任务剧本（任务集），编排定义Ansible任务集的配置文件，由Ansible顺序依次执行，通常是JSON格式的YML文件
• CMDB（配置管理数据库） API 调用
• PUBLIC/PRIVATE CLOUD API调用
• USER-> Ansible Playbook -> Ansibile

ansible使用注意事项

• 执行ansible的主机一般称为主控端，中控，master或堡垒机
• 主控端Python版本需要2.6或以上
• 被控端Python版本小于2.4需要安装python-simplejson
• 被控端如开启SELinux需要安装libselinux-python
• windows不能做为主控端

ansible安装和入门

epel源的rpm包安装

yum install ansible

编译安装

yum -y install python-jinja2 PyYAML python-paramiko python-babel python-crypto
tar xf ansible-1.5.4.tar.gz
cd ansible-1.5.4
python setup.py build
python setup.py install
mkdir /etc/ansible
cp -r examples/* /etc/ansible

git方式

git clone git://github.com/ansible/ansible.git --recursive
cd ./ansible
source ./hacking/env-setup

pip安装

//pip是安装Python包的管理器，类似yum

yum install python-pip python-devel
yum install gcc glibc-devel zibl-devel rpm-bulid openssl-devel
pip install --upgrade pip
pip install ansible --upgrade

确认安装

[root@node1 roles]# ansible --version
ansible 2.4.2.0
  config file = /etc/ansible/ansible.cfg
  configured module search path = [u'/root/.ansible/plugins/modules', u'/usr/share/ansible/plugins/modules']
  ansible python module location = /usr/lib/python2.7/site-packages/ansible
  executable location = /usr/bin/ansible
  python version = 2.7.5 (default, Aug  7 2019, 00:51:29) [GCC 4.8.5 20150623 (Red Hat 4.8.5-39)]

ansible相关文件

配置文件

• /etc/ansible/ansible.cfg 主配置文件，配置ansible工作特性
• /etc/ansible/hosts 主机清单
• /etc/ansible/roles/ 存放角色的目录

ansible主配置文件

//ansible 的配置文件/etc/ansible/ansible.cfg,其中大部分的配置内容无需进行修改

[defaults]
#inventory = /etc/ansible/hosts   #主机列表配置文件
#library = /usr/share/my_modules/   #库文件存放目录
#remote_tmp = $HOME/.ansible/tmp   #临时py命令文件存放在远程主机目录
#local_tmp = $HOME/.ansible/tmp   #本机的临时命令执行目录
#forks = 5   #默认并发数
#sudo_user = root   #默认sudo 用户
#ask_sudo_pass = True   #每次执行ansible命令是否询问ssh密码
#ask_pass = True
#remote_port = 22
#host_key_checking = False    #检查对应服务器的host_key，建议取消注释
#log_path=/var/log/ansible.log   #日志文件
#module_name = command   #默认模块

inventory 主机清单

ansible的主要功用在于批量主机操作，为了便捷地使用其中的部分主机，可以在inventory file中将其
分组命名
默认的inventory file为/etc/ansible/hosts
inventory file可以有多个，且也可以通过Dynamic Inventory来动态生成

主机清单文件格式

inventory文件遵循INI文件风格，中括号中的字符为组名。可以将同一个主机同时归并到多个不同的组
中
此外，当如若目标主机使用了非默认的SSH端口，还可以在主机名称之后使用冒号加端口号来标明
如果主机名称遵循相似的命名模式，还可以使用列表的方式标识各主机
范例：

ntp.magedu.com
[webservers]
www1.magedu.com:2222
www2.magedu.com

[dbservers]
db1.magedu.com
db2.magedu.com
db3.magedu.com

[websrvs]
www[1:100].example.com
[dbsrvs]
db-[a:f].example.com

[appsrvs]
10.0.0.[1:100]

ansible相关工具

• /usr/bin/ansible 主程序，临时命令执行工具
• /usr/bin/ansible-doc 查看配置文档，模块功能查看工具
• /usr/bin/ansible-galaxy 下载/上传优秀代码或Roles模块的官网平台
• /usr/bin/ansible-playbook 定制自动化任务，编排剧本工具
• /usr/bin/ansible-pull 远程执行命令的工具
• /usr/bin/ansible-vault 文件加密工具
• /usr/bin/ansible-console 基于Console界面与用户交互的执行工具

利用ansible实现管理的主要方式

• Ad-Hoc 即利用ansible命令，主要用于临时命令使用场景
• Ansible-playbook 主要用于长期规划好的，大型项目的场景，需要有前期的规划过程

ansible-doc工具

此工具用来显示模块帮助

格式:
ansible-doc [options] [module...]
-l, --list #列出可用模块
-s, --snippet #显示指定模块的playbook片段

范例：
#列出所有模块
ansible-doc -l
#查看指定模块帮助用法
ansible-doc ping
#查看指定模块帮助用法
ansible-doc -s ping

ansible工具

此工具通过ssh协议，实现对远程主机的配置管理、应用部署、任务执行等功能
建议：使用此工具前，先配置ansible主控端能基于密钥认证的方式联系各个被管理节点
范例：利用sshpass批量实现基于key验证

格式:
ansible <host-pattern> [-m module_name] [-a args]

选项说明:
--version #显示版本
-m module #指定模块，默认为command
-v #详细过程 –vv -vvv更详细
--list-hosts #显示主机列表，可简写 --list
-k, --ask-pass #提示输入ssh连接密码，默认Key验证
-C, --check #检查，并不执行
-T, --timeout=TIMEOUT #执行命令的超时时间，默认10s
-u, --user=REMOTE_USER #执行远程执行的用户
-b, --become #代替旧版的sudo 切换
--become-user=USERNAME #指定sudo的runas用户，默认为root
-K, --ask-become-pass #提示输入sudo时的口令

//生成密钥对
ssh-keygen   #直接回车三次

//将公钥分发至指定远程主机
NET=192.168.26;for i in 17 27 37 ; do sshpass -p 960201 ssh-copy-id $NET.$i ; done

ansible的Host-pattern
用于匹配被控制的主机的列表
All ：表示所有Inventory中的所有主机
范例:

ansible all –m ping

*:通配符

ansible “*” -m ping
ansible 192.168.1.* -m ping
ansible “srvs” -m ping

:或关系

ansible “websrvs:appsrvs” -m ping
ansible “192.168.1.10:192.168.1.20” -m ping

:&逻辑与

#在websrvs组并且在dbsrvs组中的主机
ansible “websrvs:&dbsrvs” –m ping

:!逻辑非

#在websrvs组，但不在dbsrvs组中的主机
#注意：此处为单引号
ansible ‘websrvs:!dbsrvs’ –m ping

综合逻辑

ansible ‘websrvs:dbsrvs:&appsrvs:!ftpsrvs’ –m ping

正则表达式

ansible “websrvs:&dbsrvs” –m ping
ansible “~(web|db).*\.magedu\.com” –m ping

ansible命令执行过程

1. 加载自己的配置文件 默认/etc/ansible/ansible.cfg
2. 加载自己对应的模块文件，如：command
3. 通过ansible将模块或命令生成对应的临时py文件，并将该文件传输至远程服务器的对应执行用户
   $HOME/.ansible/tmp/ansible-tmp-数字/XXX.PY文件
4. 给文件+x执行
5. 执行并返回结果
6. 删除临时py文件，退出

ansible的执行状态

[root@centos8 ~]#grep -A 14 '\[colors\]' /etc/ansible/ansible.cfg
[colors]
#highlight = white
#verbose = blue
#warn = bright purple
#error = red
#debug = dark gray
#deprecate = purple
#skip = cyan
#unreachable = red
#ok = green
#changed = yellow
#diff_add = green
#diff_remove = red
#diff_lines = cyan
--------------------------------------------
注：
绿色：执行成功并且不需要做改变的操作
黄色：执行成功并且对目标主机做变更
红色：执行失败

ansible使用范例

#以wang用户执行ping存活检测
ansible all -m ping -u wang -k
#以wang sudo至root执行ping存活检测
ansible all -m ping -u wang -k -b
#以wang sudo至mage用户执行ping存活检测
ansible all -m ping -u wang -k -b --become-user=mage
#以wang sudo至root用户执行ls
ansible all -m command -u wang -a 'ls /root' -b --become-user=root -k -K

ansible-galaxy

此工具会连接 https://galaxy.ansible.com 下载相应的roles

范例：
#列出所有已安装的galaxy
ansible-galaxy list
#安装galaxy
ansible-galaxy install geerlingguy.redis
#删除galaxy
ansible-galaxy remove geerlingguy.redis

ansible-vault

此工具可以用于加密解密yml文件

格式：
ansible-vault [create|decrypt|edit|encrypt|rekey|view]

范例：
ansible-vault encrypt hello.yml #加密
ansible-vault decrypt hello.yml #解密
ansible-vault view hello.yml #查看
ansible-vault edit hello.yml #编辑加密文件
ansible-vault rekey hello.yml #修改口令
ansible-vault create new.yml #创建新文件

ansible-console

此工具可交互执行命令，支持tab，ansible 2.0+新增

提示符格式：
执行用户@当前操作的主机组 (当前组的主机数量)[f:并发数]$

常用子命令：

• 设置并发数： forks n 例如： forks 10
• 切换组： cd 主机组 例如： cd web
• 列出当前组主机列表： list
• 列出所有的内置命令： ?或help

范例：
root@all (2)[f:5]$ list
root@all (2)[f:5]$ cd appsrvs
root@appsrvs (2)[f:5]$ list
root@appsrvs (2)[f:5]$ yum name=httpd state=present
root@appsrvs (2)[f:5]$ service name=httpd state=started

记录ansible实验中遇到的问题：

ssh-keygen   #直接回车三次创建密钥对

//使用for循环将公钥发放至指定远程主机
NET=192.168.26;for i in 17 27 37 47 18 28 38 ; do sshpass -p 960201 ssh-copy-id $NET.$i ; done

//记得把ssh的配置文件/etc/ssh/ssh_config中的基于第一次连接要输入yes or no选项解除注释并关闭，如：StrictHostKeyChecking no

//使用ansible检查指定主机是否正常连接时，centos8主机遇到的问题
192.168.26.28 | FAILED! => {
    "changed": false, 
    "module_stderr": "Shared connection to 192.168.26.28 closed.\r\n", 
    "module_stdout": "/bin/sh: /usr/bin/python: No such file or directory\r\n", 
    "msg": "MODULE FAILURE", 
    "rc": 0
}
//查找/usr/bin下是否有python这个程序，发现路径名为/usr/bin/python3，导致ansible无法识别
[root@org_dns ~]# ll /usr/bin | grep 'python'
lrwxrwxrwx. 1 root root          25 Sep 25 20:38 python3 -> /etc/alternatives/python3
lrwxrwxrwx. 1 root root          31 Jun 22 23:20 python3.6 -> /usr/libexec/platform-python3.6
lrwxrwxrwx. 1 root root          32 Jun 22 23:20 python3.6m -> /usr/libexec/platform-python3.6m
lrwxrwxrwx. 1 root root          24 Sep 25 20:38 unversioned-python -> /etc/alternatives/python

//使用ln -s对其创建ansible可识别的链接名即可
[root@org_dns ~]# ln -s /etc/alternatives/python3 /usr/bin/python

ansible常用模块

command 模块

功能：在远程主机执行命令，此为默认模块，可忽略-m选项
注意：此命令不支持 $VARNAME < > | ; & 等，用shell模块实现

范例：
ansible srvs -m command -a ‘service vsftpd start’
ansible srvs -m command -a ‘echo magedu |passwd --stdin wang’

Shell模块

功能：和command相似，用shell执行命令

范例：
ansible srv -m shell -a ‘echo magedu |passwd –stdin wang’
注意：调用bash执行命令 类似 cat /tmp/test.md | awk -F‘|’ ‘{print $1,$2}’ &> /tmp/example.txt 这些
复杂命令，即使使用shell也可能会失败，解决办法：写到脚本时，copy到远程，执行，再把需要的结
果拉回执行命令的机器

Copy模块

功能：从ansible服务器主控端复制文件到远程主机

#如目标存在，默认覆盖，此处指定先备份
ansible srv -m copy -a “src=/root/test1.sh dest=/tmp/test2.sh owner=wang
mode=600 backup=yes”
#指定内容，直接生成目标文件
ansible srv -m copy -a “content='test content\n' dest=/tmp/test.txt”
#复制/etc/下的文件，不包括/etc/目录自身
ansible srv -m copy -a “src=/etc/ dest=/backup”

Fetch模块

功能：从远程主机提取文件至ansible的主控端，copy相反，目前不支持目录

范例：
ansible srv -m fetch -a ‘src=/root/test.sh dest=/data/scripts’

unarchive模块

功能：解包解压缩
实现有两种用法：
1、将ansible主机上的压缩包传到远程主机后解压缩至特定目录，设置copy=yes
2、将远程主机上的某个压缩包解压缩到指定路径下，设置copy=no
常见参数：

• copy：默认为yes，当copy=yes，拷贝的文件是从ansible主机复制到远程主机上，如果设置为
  copy=no，会在远程主机上寻找src源文件
• remote_src：和copy功能一样且互斥，yes表示在远程主机，不在ansible主机，no表示文件在
  ansible主机上
• src：源路径，可以是ansible主机上的路径，也可以是远程主机上的路径，如果是远程主机上的路
  径，则需要设置copy=no
• dest：远程主机上的目标路径
• mode：设置解压缩后的文件权限

范例：
ansible srv -m unarchive -a 'src=/data/foo.tgz dest=/var/lib/foo'
ansible srv -m unarchive -a 'src=/tmp/foo.zip dest=/data copy=no mode=0777'
ansible srv -m unarchive -a 'src=https://example.com/example.zip dest=/data
copy=no'

Archive模块

功能：打包压缩

范例：
ansible websrvs -m archive -a 'path=/var/log/ dest=/data/log.tar.bz2 format=bz2
owner=wang mode=0600'

Hostname模块

功能：管理主机名

范例：
ansible node1 -m hostname -a “name=websrv”
ansible 192.168.100.18 -m hostname -a 'name=node18.magedu.com'

cron模块

[root@node-17 ~]# vim /data/hello_world.sh

//任务内容
#!/bin/bash
clear
sleep 1
echo 1
sleep 1
clear
echo 2
sleep 1
clear
echo 3
sleep 1
clear
echo "hellp world"

//copy事务脚本
[root@node-17 ~]# ansible websrvs -m copy -a 'src=/data/hello_world.sh dest=/data/'

//创建事务
[root@node-17 ~]# ansible wesrvs -m cron -a 'minute= hour= day= month= weekday= name=hello world job=/data/hello_world.sh'

//临时注释
[root@node-17 ~]# ansible wesrvs -m cron -a 'minute= hour= day= month= weekday= name=hello world job=/data/hello_world.sh disabled=yes'

//启用事务
[root@node-17 ~]# ansible wesrvs -m cron -a 'minute= hour= day= month= weekday= name=hello world job=/data/hello_world.sh'

//删除事务
[root@node-17 ~]# ansible websrvs -m cron -a 'name="hello wrold" state=absent'

//备份数据库脚本
[root@centos8 ~]#cat mysql_backup.sh
mysqldump -A -F --single-transaction --master-data=2 -q -uroot |gzip > /data/mysql_`date +%F_%T`.sql.gz

//创建任务
ansible 192.168.39.28 -m cron -a 'hour=2 minute=30 weekday=1-5 name="backupmysql" job=/root/mysql_backup.sh'
ansible srv -m cron -a "minute=*/5 job='/usr/sbin/ntpdate 172.20.0.1
&>/dev/null' name=Synctime"

//禁用计划任务
ansible srv -m cron -a "minute=*/5 job='/usr/sbin/ntpdate 172.20.0.1 &> /dev/null' name=Synctime disabled=yes"

//启用计划任务
ansible srv -m cron -a "minute=*/5 job='/usr/sbin/ntpdate 172.20.0.1 &> /dev/null' name=Synctime disabled=no"

//删除任务
ansible srv -m cron -a "name='backup mysql' state=absent"
ansible srv -m cron -a ‘state=absent name=Synctime’

yum 模块

管理软件包

//安装
[root@node-17 ~]# ansible websrvs -m yum -a 'name=mariadb-server state=present'

//卸载
[root@node-17 ~]# ansible websrvs -m yum -a 'name=mariadb-server state=absent'

service 模块

管理服务

//停止服务
ansible srv -m service -a 'name=mariadb.service state=stopped'

//开启服务，并且开机自启
ansible srv -m service -a 'name=mariadb.service state=started enabled=yes'

//重装服务
ansible srv -m service -a 'name=mariadb.service state=reloaded’

//重启服务
ansible srv -m service -a 'name=mariadb.service state=restarted'

user 模块

管理用户

//创建用户
[root@node-17 ~]# ansible websrvs -m user -a 'name=user comment="test user" uid=1000 group=root shell=/bin/bash system=no home=/data/user non_unique=yes'

//删除用户，并且删除家目录
[root@node-17 ~]# ansible websrvs -m user -a 'name=user state=absent remove=yes'

group 模块

管理组

//创建系统用户
[root@node-17 ~]# ansible websrvs -m group -a 'name=groupname gid=NUM system=yes'

//删除组
[root@node-17 ~]# ansible websrvs -m group -a 'name=groupname state=absent'

//当组中有用户时，得先删除用户
[root@node-17 ~]# ansible websrvs -m user -a 'name=user state=absent remove=yes'

Setup模块

返回系统状态信息

ansible srv -m setup
ansible srv -m setup -a "filter=ansible_nodename"   #节点名
ansible srv -m setup -a "filter=ansible_hostname"   #主机名
ansible srv -m setup -a "filter=ansible_domain"   #域
ansible srv -m setup -a "filter=ansible_memtotal_mb"   #物理内存
ansible srv -m setup -a "filter=ansible_memory_mb"   #内存
ansible srv -m setup -a "filter=ansible_memfree_mb"   #可用内存
ansible srv -m setup -a "filter=ansible_os_family"   #操作系统所属公司
ansible srv -m setup -a "filter=ansible_distribution_major_version"   #操作系统主版本号
ansible srv -m setup -a "filter=ansible_distribution_version"   #操作系统版本
ansible srv -m setup -a "filter=ansible_processor_vcpus"   #处理器CPU个数
ansible srv -m setup -a "filter=ansible_all_ipv4_addresses"   #所有ipv4地址
ansible srv -m setup -a "filter=ansible_architecture"   #架构号