运维自动化之Ansible---运维自动化发展历程及技术应用

运维自动化发展历程及技术应用

企业实际应用场景分析 

Dev开发环境
    使用者：程序员
    功能：程序员开发软件，测试BUG的环境
    管理者：程序员

测试环境    
    使用者：QA测试工程师
    功能：测试经过Dev环境测试通过的软件的功能
    管理者：运维

说明：测试环境往往有多套,测试环境满足测试功能即可，不宜过多
1、测试人员希望测试环境有多套,公司的产品多产品线并发，即多个版本，意味着多个版本同步测试
2、通常测试环境有多少套和产品线数量保持一样

发布环境：代码发布机，有些公司为堡垒机（安全屏障）
    使用者：运维
    功能：发布代码至生产环境
    管理者：运维（有经验）
    发布机：往往需要有2台（主备）

生产环境
    使用者：运维，少数情况开放权限给核心开发人员，极少数公司将权限完全
    开放给开发人员并其维护
    功能：对用户提供公司产品的服务

管理者：只能是运维
    生产环境服务器数量：一般比较多，且应用非常重要。往往需要自动工具协助部署配置应用

灰度环境（生产环境的一部分）
    使用者：运维
    功能：在全量发布代码前将代码的功能面向少量精准用户发布的环境,可基
    于主机或用户执行灰度发布
    案例：共100台生产服务器，先发布其中的10台服务器，这10台服务器就是灰度服务器
    管理者：运维
    灰度环境：往往该版本功能变更较大，为保险起见特意先让一部分用户优化体验该功能，
              待这部分用户使用没有重大问题的时候，再全量发布至所有服务器

程序发布

程序发布要求：
    不能导致系统故障或造成系统完全不可用
    不能影响用户体验
预发布验证：
    新版本的代码先发布到服务器（跟线上环境配置完全相同，只是未接入到调度器）
灰度发布：
    基于主机，用户，业务
发布路径：
    /webapp/tuangou
    /webapp/tuangou-1.1
    /webapp/tuangou-1.2
发布过程：在调度器上下线一批主机(标记为maintanance状态) --> 关闭服务 -->
          部署新版本的应用程序 --> 启动服务 --> 在调度器上启用这一批服务器
自动化灰度发布：脚本、发布平台

自动化运维应用场景

1. 文件传输
2. 应用部署
3. 配置管理
4. 任务流编排

常用自动化运维工具

• Ansible：python，Agentless，中小型应用环境
• Saltstack：python，一般需部署agent，执行效率更高
• Puppet：ruby, 功能强大，配置复杂，重型,适合大型环境
• Fabric：python，agentless Chef：ruby，国内应用少 Cfengine func

企业级自动化运维工具应用实战ansible

        公司计划在年底做一次大型市场促销活动，全面冲刺下交易额，为明年的上市做准备。 公司要求各业务组对年底大促做准备，运维部要求所有业务容量进行三倍的扩容， 并搭建出多套环境可以共开发和测试人员做测试，运维老大为了在年底有所表现， 要求运维部门同学尽快实现，当你接到这个任务时，有没有更快的解决方案？

Ansible发展史

Ansible Michael DeHaan（ Cobbler 与 Func 作者） 名称来自《安德的游戏》中跨越时空的即时通信工具 2012-03-09，发布0.0.1版，2015-10-17，Red Hat宣布收购

官网：https://www.ansible.com/

官方文档：https://docs.ansible.com/

同类自动化工具GitHub关注程度（2016-07-10）

特性

1. 模块化：调用特定的模块，完成特定任务
2. Paramiko（python对ssh的实现），PyYAML，Jinja2（模板语言）三个关键模块
3. 支持自定义模块
4. 基于Python语言实现
5. 部署简单，基于python和SSH(默认已安装)，agentless
6. 安全，基于OpenSSH
7. 支持playbook编排任务
8. 幂等性：一个任务执行1遍和执行n遍效果一样，不因重复执行带来意外情况
9. 无需代理不依赖PKI（无需ssl）
10. 可使用任何编程语言写模块
11. YAML格式，编排任务，支持丰富的数据结构
12. 较强大的多层解决方案

Ansible架构

ansible的作用以及工作结构

1. ansible简介： ansible是新出现的自动化运维工具，基于Python开发， 集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点， 实现了批量系统配置、批量程序部署、批量运行命令等功能。 ansible是基于模块工作的，本身没有批量部署的能力。 真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。 主要包括： (1)、连接插件connection plugins：负责和被监控端实现通信；(2)、host inventory：指定操作的主机，是一个配置文件里面定义监控的主机；(3)、各种模块核心模块、command模块、自定义模块；(4)、借助于插件完成记录日志邮件等功能；(5)、playbook：剧本执行多个任务时，非必需可以让节点一次性运行多个任务。
2. ansible的架构：连接其他主机默认使用ssh协议

Ansible工作原理

Ansible主要组成部分

• ANSIBLE PLAYBOOKS：任务剧本（任务集），编排定义Ansible任务集的配置文件， 由Ansible顺序依次执行，通常是JSON格式的YML文件
• INVENTORY：Ansible管理主机的清单 /etc/anaible/hosts
• MODULES： Ansible执行命令的功能模块，多数为内置核心模块，也可自定义
• PLUGINS： 模块功能的补充，如连接类型插件、循环插件、变量插件、过滤插件等，该功能不常用
• API： 供第三方程序调用的应用程序编程接口
• ANSIBLE： 组合INVENTORY、API、MODULES、PLUGINS的绿框，可以理解为是ansible命令工具，其为核心执行工具

Ansible命令执行来源

1. USER，普通用户，即SYSTEM ADMINISTRATOR
2. CMDB（配置管理数据库） API 调用
3. PUBLIC/PRIVATE CLOUD API调用 (公有私有云的API接口调用)
4. USER-> Ansible Playbook -> Ansibile

利用ansible实现管理的方式

1. Ad-Hoc 即ansible单条命令，主要用于临时命令使用场景
2. Ansible-playbook 主要用于长期规划好的，大型项目的场景，需要有前期的规划过程

Ansible-playbook（剧本）执行过程

1. 将已有编排好的任务集写入Ansible-Playbook 通过ansible-playbook
2. 命令分拆任务集至逐条ansible命令，按预定规则逐条执行

Ansible主要操作对象

• HOSTS主机
• NETWORKING网络设备

注意事项:

• 执行ansible的主机一般称为主控端，中控，master或堡垒机
• 主控端Python版本需要2.6或以上
• 被控端Python版本小于2.4需要安装python-simplejson
• 被控端如开启SELinux需要安装libselinux-python
• windows不能做为主控端
• ansible不是服务,不会一直启动,只是需要的时候启动

安装

rpm包安装: EPEL源
    yum install ansible

编译安装:
    yum -y install python-jinja2 PyYAML python-paramiko python-babel
    python-crypto
    tar xf ansible-1.5.4.tar.gz
    cd ansible-1.5.4
    python setup.py build
    python setup.py install
    mkdir /etc/ansible
    cp -r examples/* /etc/ansible


Git方式:
    git clone git://github.com/ansible/ansible.git --recursive
    cd ./ansible
    source ./hacking/env-setup

pip安装： pip是安装Python包的管理器，类似yum
    yum install python-pip python-devel
    yum install gcc glibc-devel zibl-devel rpm-bulid openssl-devel
    pip install --upgrade pip
    pip install ansible --upgrade
下载安装:
yum -y install ansible --downloadonly --downloaddir /tmp/soft/ansible_rpm

确认安装：
    ansible --version

相关文件

配置文件

• /etc/ansible/ansible.cfg 主配置文件，配置ansible工作特性(一般无需修改)
• /etc/ansible/hosts 主机清单(将被管理的主机放到此文件)
• /etc/ansible/roles/ 存放角色的目录

程序 

• /usr/bin/ansible 主程序，临时命令执行工具
• /usr/bin/ansible-doc 查看配置文档，模块功能查看工具
• /usr/bin/ansible-galaxy 下载/上传优秀代码或Roles模块的官网平台
• /usr/bin/ansible-playbook 定制自动化任务，编排剧本工具
• /usr/bin/ansible-pull 远程执行命令的工具
• /usr/bin/ansible-vault 文件加密工具
• /usr/bin/ansible-console 基于Console界面与用户交互的执行工具

主机清单inventory

Inventory 主机清单
1> ansible的主要功用在于批量主机操作，为了便捷地使用其中的部分主机，可以在inventory file中将其分组命名 
2> 默认的inventory file为/etc/ansible/hosts
3> inventory file可以有多个，且也可以通过Dynamic Inventory来动态生成

/etc/ansible/hosts文件格式
inventory文件遵循INI文件风格，中括号中的字符为组名。
可以将同一个主机同时归并到多个不同的组中；
此外，当如若目标主机使用了非默认的SSH端口，还可以在主机名称之后使用冒号加端口号来标明
    ntp.magedu.com   不分组,直接加
    
    [webservers]     webservers组
    www1.magedu.com:2222  可以指定端口
    www2.magedu.com
    
    [dbservers]
    db1.magedu.com
    db2.magedu.com
    db3.magedu.com

如果主机名称遵循相似的命名模式，还可以使用列表的方式标识各主机
示例：
    [websrvs]
    www[1:100].example.com   ip: 1-100
    
    [dbsrvs]
    db-[a:f].example.com     dba-dbff

ansible 配置文件

Ansible 配置文件/etc/ansible/ansible.cfg （一般保持默认）

vim /etc/ansible/ansible.cfg

[defaults]
#inventory     = /etc/ansible/hosts      # 主机列表配置文件
#library       = /usr/share/my_modules/  # 库文件存放目录
#remote_tmp    = $HOME/.ansible/tmp      # 临时py命令文件存放在远程主机目录
#local_tmp     = $HOME/.ansible/tmp      # 本机的临时命令执行目录  
#forks         = 5                       # 默认并发数,同时可以执行5次
#sudo_user     = root                    # 默认sudo 用户
#ask_sudo_pass = True                    # 每次执行ansible命令是否询问ssh密码
#ask_pass      = True                    # 每次执行ansible命令是否询问ssh口令
#remote_port   = 22                      # 远程主机的端口号(默认22)

建议优化项： 
host_key_checking = False               # 检查对应服务器的host_key，建议取消注释
log_path=/var/log/ansible.log           # 日志文件,建议取消注释
module_name   = command                 # 默认模块