5.ansible异步

最新推荐文章于 2024-04-25 12:58:07 发布
最新推荐文章于 2024-04-25 12:58:07 发布
阅读量258 收藏
点赞数
文章标签： shell 运维 python
原文链接：https://my.oschina.net/eddylinux/blog/1503295
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

1.ansible异步：
    主要目的是在执行多台服务器而且当单个任务执行完毕时长过长甚至会超过ssh超时时间，或执行一批任务时时长过长的问题
     例如：1.执行一个任务花时20分钟ansible-playbook/ansible会长时间挂在前台，有可能运行时间比SSH超时时间还要长
          2.为二十台服务器执行一个任务每个任务花费1分钟，那么二十台服务器总共执行完毕需要二十分钟这也是不友好的

    解决该问题最简单的方式是异步执行它们,然后轮询直到任务执行完毕.


2.异步并查看任务情况
[root@web2 asynctest]# ansible-playbook  asynctest.yml -vv
Using /etc/ansible/ansible.cfg as config file

PLAYBOOK: asynctest.yml ********************************************************************************************
1 plays in asynctest.yml

PLAY [cluster] *****************************************************************************************************

TASK [Gathering Facts] *********************************************************************************************
ok: [192.168.222.139]
ok: [192.168.222.142]
ok: [192.168.222.140]
ok: [192.168.222.141]
META: ran handlers

TASK [command] *****************************************************************************************************
task path: /root/asynctest/asynctest.yml:5
changed: [192.168.222.140] => {"ansible_job_id": "672788718586.6870", "changed": true, "finished": 0, "results_file": "/root/.ansible_async/672788718586.6870", "started": 1}
changed: [192.168.222.142] => {"ansible_job_id": "49954320951.6876", "changed": true, "finished": 0, "results_file": "/root/.ansible_async/49954320951.6876", "started": 1}
changed: [192.168.222.141] => {"ansible_job_id": "36457841980.6875", "changed": true, "finished": 0, "results_file": "/root/.ansible_async/36457841980.6875", "started": 1}
changed: [192.168.222.139] => {"ansible_job_id": "579208698367.6879", "changed": true, "finished": 0, "results_file": "/root/.ansible_async/579208698367.6879", "started": 1}

TASK [debug] *******************************************************************************************************
task path: /root/asynctest/asynctest.yml:10
ok: [192.168.222.139] => {
    "result": {
        "ansible_job_id": "579208698367.6879", 
        "changed": true, 
        "finished": 0, 
        "results_file": "/root/.ansible_async/579208698367.6879", 
        "started": 1
    }
}
ok: [192.168.222.140] => {
    "result": {
        "ansible_job_id": "672788718586.6870", 
        "changed": true, 
        "finished": 0, 
        "results_file": "/root/.ansible_async/672788718586.6870", 
        "started": 1
    }
}
ok: [192.168.222.141] => {
    "result": {
        "ansible_job_id": "36457841980.6875", 
        "changed": true, 
        "finished": 0, 
        "results_file": "/root/.ansible_async/36457841980.6875", 
        "started": 1
    }
}
ok: [192.168.222.142] => {
    "result": {
        "ansible_job_id": "49954320951.6876", 
        "changed": true, 
        "finished": 0, 
        "results_file": "/root/.ansible_async/49954320951.6876", 
        "started": 1
    }
}

TASK [async_status] ************************************************************************************************
task path: /root/asynctest/asynctest.yml:12
FAILED - RETRYING: async_status (30 retries left).
FAILED - RETRYING: async_status (30 retries left).
FAILED - RETRYING: async_status (30 retries left).
FAILED - RETRYING: async_status (30 retries left).
FAILED - RETRYING: async_status (29 retries left).
FAILED - RETRYING: async_status (29 retries left).
FAILED - RETRYING: async_status (29 retries left).
FAILED - RETRYING: async_status (29 retries left).
FAILED - RETRYING: async_status (28 retries left).
FAILED - RETRYING: async_status (28 retries left).
FAILED - RETRYING: async_status (28 retries left).
FAILED - RETRYING: async_status (28 retries left).
FAILED - RETRYING: async_status (27 retries left).
FAILED - RETRYING: async_status (27 retries left).
FAILED - RETRYING: async_status (27 retries left).
FAILED - RETRYING: async_status (27 retries left).
FAILED - RETRYING: async_status (26 retries left).
FAILED - RETRYING: async_status (26 retries left).
FAILED - RETRYING: async_status (26 retries left).
FAILED - RETRYING: async_status (26 retries left).
FAILED - RETRYING: async_status (25 retries left).
FAILED - RETRYING: async_status (25 retries left).
FAILED - RETRYING: async_status (25 retries left).
FAILED - RETRYING: async_status (25 retries left).
FAILED - RETRYING: async_status (24 retries left).
FAILED - RETRYING: async_status (24 retries left).
FAILED - RETRYING: async_status (24 retries left).
FAILED - RETRYING: async_status (24 retries left).
FAILED - RETRYING: async_status (23 retries left).
FAILED - RETRYING: async_status (23 retries left).
FAILED - RETRYING: async_status (23 retries left).
FAILED - RETRYING: async_status (23 retries left).
FAILED - RETRYING: async_status (22 retries left).
FAILED - RETRYING: async_status (22 retries left).
FAILED - RETRYING: async_status (22 retries left).
FAILED - RETRYING: async_status (22 retries left).
FAILED - RETRYING: async_status (21 retries left).
FAILED - RETRYING: async_status (21 retries left).
FAILED - RETRYING: async_status (21 retries left).
FAILED - RETRYING: async_status (21 retries left).
FAILED - RETRYING: async_status (20 retries left).
FAILED - RETRYING: async_status (20 retries left).
FAILED - RETRYING: async_status (20 retries left).
FAILED - RETRYING: async_status (20 retries left).
FAILED - RETRYING: async_status (19 retries left).
FAILED - RETRYING: async_status (19 retries left).
FAILED - RETRYING: async_status (19 retries left).
FAILED - RETRYING: async_status (19 retries left).
FAILED - RETRYING: async_status (18 retries left).
FAILED - RETRYING: async_status (18 retries left).
FAILED - RETRYING: async_status (18 retries left).
FAILED - RETRYING: async_status (18 retries left).
FAILED - RETRYING: async_status (17 retries left).
FAILED - RETRYING: async_status (17 retries left).
FAILED - RETRYING: async_status (17 retries left).
FAILED - RETRYING: async_status (17 retries left).
FAILED - RETRYING: async_status (16 retries left).
FAILED - RETRYING: async_status (16 retries left).
FAILED - RETRYING: async_status (16 retries left).
FAILED - RETRYING: async_status (16 retries left).
FAILED - RETRYING: async_status (15 retries left).
FAILED - RETRYING: async_status (15 retries left).
FAILED - RETRYING: async_status (15 retries left).
FAILED - RETRYING: async_status (15 retries left).
FAILED - RETRYING: async_status (14 retries left).
FAILED - RETRYING: async_status (14 retries left).
FAILED - RETRYING: async_status (14 retries left).
FAILED - RETRYING: async_status (14 retries left).
FAILED - RETRYING: async_status (13 retries left).
FAILED - RETRYING: async_status (13 retries left).
FAILED - RETRYING: async_status (13 retries left).
FAILED - RETRYING: async_status (13 retries left).
changed: [192.168.222.139] => {"ansible_job_id": "579208698367.6879", "attempts": 19, "changed": true, "cmd": "sleep 100 && hostname", "delta": "0:01:40.021598", "end": "2017-08-05 15:49:07.175202", "finished": 1, "rc": 0, "start": "2017-08-05 15:47:27.153604", "stderr": "", "stderr_lines": [], "stdout": "web2", "stdout_lines": ["web2"]}
changed: [192.168.222.141] => {"ansible_job_id": "36457841980.6875", "attempts": 19, "changed": true, "cmd": "sleep 100 && hostname", "delta": "0:01:40.024560", "end": "2017-08-05 15:49:07.158323", "finished": 1, "rc": 0, "start": "2017-08-05 15:47:27.133763", "stderr": "", "stderr_lines": [], "stdout": "web2", "stdout_lines": ["web2"]}
changed: [192.168.222.140] => {"ansible_job_id": "672788718586.6870", "attempts": 19, "changed": true, "cmd": "sleep 100 && hostname", "delta": "0:01:40.033291", "end": "2017-08-05 15:49:07.168699", "finished": 1, "rc": 0, "start": "2017-08-05 15:47:27.135408", "stderr": "", "stderr_lines": [], "stdout": "web2", "stdout_lines": ["web2"]}
changed: [192.168.222.142] => {"ansible_job_id": "49954320951.6876", "attempts": 19, "changed": true, "cmd": "sleep 100 && hostname", "delta": "0:01:40.029308", "end": "2017-08-05 15:49:07.163930", "finished": 1, "rc": 0, "start": "2017-08-05 15:47:27.134622", "stderr": "", "stderr_lines": [], "stdout": "web2", "stdout_lines": ["web2"]}
META: ran handlers
META: ran handlers

PLAY RECAP *********************************************************************************************************
192.168.222.139            : ok=4    changed=2    unreachable=0    failed=0   
192.168.222.140            : ok=4    changed=2    unreachable=0    failed=0   
192.168.222.141            : ok=4    changed=2    unreachable=0    failed=0   
192.168.222.142            : ok=4    changed=2    unreachable=0    failed=0

[root@web2 asynctest]# vim asynctest.yml
---

- hosts: cluster
  tasks:
   - shell: sleep 100 && hostname
     async: 100
     poll: 0
     register: result

   - debug: var=result

   - async_status: jid={{ result.ansible_job_id }}
     register: job_result
     until: job_result.finished
     retries: 30
第一个任务，指定shell任务为异步执行，100秒后任务超时失败。
第二个任务，获取异步任务的返回值，其目的是获取jid。
第三个任务，检查jid异步任务的状态，当异步任务的finished不为0时，异步任务执行成功。检查次数为30次，间隔5秒。
可以看到在17次重试的时候成功了17*5=105刚好在100s内执行了，所以第105s检测的时候状态改变了所以完成任务，并且异步中poll为0不会等待单个任务完成之后再执行后面的任务
指定其async最大超时时间以及轮询其状态的频率.如果你没有为 poll 指定值,那么默认的轮询频率是15秒钟。pool设置为0时，任务会立即返回，而不等待命令执行的结果，继续执行下面的任务
这样就可以解决单个任务时长过长或需要执行多台的长时间任务

上面是使用playbook来执行异步任务
下面使用ansible来实现异步
[root@web2 asynctest]# ansible cluster -B 100 -P 0 -m yum -a 'name=httpd' -vv
Using /etc/ansible/ansible.cfg as config file
META: ran handlers
192.168.222.140 | SUCCESS => {
    "ansible_job_id": "217388642954.9630", 
    "changed": true, 
    "finished": 0, 
    "results_file": "/root/.ansible_async/217388642954.9630", 
    "started": 1
}
192.168.222.139 | SUCCESS => {
    "ansible_job_id": "664731498954.9636", 
    "changed": true, 
    "finished": 0, 
    "results_file": "/root/.ansible_async/664731498954.9636", 
    "started": 1
}
192.168.222.141 | SUCCESS => {
    "ansible_job_id": "786364247737.9644", 
    "changed": true, 
    "finished": 0, 
    "results_file": "/root/.ansible_async/786364247737.9644", 
    "started": 1
}
192.168.222.142 | SUCCESS => {
    "ansible_job_id": "706875309767.9649", 
    "changed": true, 
    "finished": 0, 
    "results_file": "/root/.ansible_async/706875309767.9649", 
    "started": 1
}
META: ran handlers
META: ran handlers
参数说明
-B 100启用异步，超时时间100,
-P 0 轮询时间为0
使用async_status来获取异步状态信息
[root@web2 asynctest]# ansible cluster -m async_status -a 'jid=706875309767.9649'
192.168.222.139 | SUCCESS => {
    "ansible_job_id": "706875309767.9649", 
    "changed": false, 
    "finished": 1, 
    "msg": "", 
    "rc": 0, 
    "results": [
        "httpd-2.2.15-53.el6.centos.x86_64 providing httpd is already installed"
    ]
}
192.168.222.140 | SUCCESS => {
    "ansible_job_id": "706875309767.9649", 
    "changed": false, 
    "finished": 1, 
    "msg": "", 
    "rc": 0, 
    "results": [
        "httpd-2.2.15-53.el6.centos.x86_64 providing httpd is already installed"
    ]
}
192.168.222.141 | SUCCESS => {
    "ansible_job_id": "706875309767.9649", 
    "changed": false, 
    "finished": 1, 
    "msg": "", 
    "rc": 0, 
    "results": [
        "httpd-2.2.15-53.el6.centos.x86_64 providing httpd is already installed"
    ]
}
192.168.222.142 | SUCCESS => {
    "ansible_job_id": "706875309767.9649", 
    "changed": false, 
    "finished": 1, 
    "msg": "", 
    "rc": 0, 
    "results": [
        "httpd-2.2.15-53.el6.centos.x86_64 providing httpd is already installed"
    ]
}
异步任务的状态文件以jid命名的方式存放在远端主机的用户目录下的.ansible_async目录，本次使用的是root连接远端，所以目录是/root/.ansible_async。
异步任务的返回值
192.168.222.142 | SUCCESS => {
    "ansible_job_id": "706875309767.9649", 
    "changed": true, 
    "finished": 0, 
    "results_file": "/root/.ansible_async/706875309767.9649", 
    "started": 1
}
注意：在使用command, win_command, shell, win_shell, raw模块时，是不会返回信息的。

 

转载于:https://my.oschina.net/eddylinux/blog/1503295

weixin_33797791
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ansible-api：Ansible的RESTful HTTP Api
01-31
runner作为中间件0.2.6自适应ansible 2.6.4并添加异步模式0.2.2优化日志0.2.1优化日志并允许在同一主机中使用mutil-instance 0.2.0支持websocket，删除insible中入侵的代码结构图如何安装[准备工作] python版本> = ...
Ansible 系列之 Ad-Hoc
生命在于折腾
06-17 1321
通过上一篇，我们应该对 Ansible 有了一个初步的了解，Ansible 是可以批量管理远程主机的。 实际上，Ansible 提供了两种完成管理的方式的：一种是 Ad-Hoc，即 ansible 命令，上一篇中所使用的就是 Ad-Hoc；另外一种就是 Ansible-playbook，它是对 Ad-Hoc 进行的封装，可以进行任务编排。 Ad-Hoc 命令是一种可以快速输入的命令，而且不需要...
redhat8 不支持ansible批量管理解决方案
一个80后IT之路
02-04 451
redhat8默认不安装python，因此无法通过python去管理，直接上解决方案。 dnf install python3 -y alternatives --set python /usr/bin/python3 yum install python3-libselinux_x86_64 ...
Ansible执行过程分析、异步模式和速度优化
o0o0o0D的博客
12-10 818
Ansible系列(七)：执行过程分析、异步模式和速度优化 分类:Linux服务篇 undefined 我写了更完善的Ansible专栏文章：一步到位玩儿透Ansible Ansible系列文章：http://www.cnblogs.com/f-ck-need-u/p/7576137.html 1.1 ansible执行过程分析 使用ansible的-vvv或-vvvv分析执行过程。以下是一个启动远程192.168.100.61上httpd任务的执行过程分析。其中将不必要的信息都是用"...
Ansible 异步执行任务
少说多做
05-25 632
简介 一个Http的接口执行时间比较长，通过Ansible异步调研 yaml文件 - hosts: 10.128.**.43 gather_facts: no tasks: - name: 'send request' uri: url: http://10.128.**.122:8000/backends/datasync/datasync/?user=admin method: GET return_content:..
L2-Ansible理论
Dear_MyWork的博客
12-22 478
1、Ansible版本之间的区别  Ansible1.3之后的版本，默认情况下会先尝试调用本地的openssh链接，这使得ansible可以拥有一些ssh的特性，比如默认的ssh配置是在~/.ssh/config中。但是在企业版本linux中（红帽企业版6和centos6中）作为控制端时由于本地的openssh版本过于老，所以ansible会调用一个python的模块（paramiko）来完成高
ansible异步任务
一个80后IT之路
03-28 378
目录 ansible方便在于能批量下发，并返回结果和呈现。简单、高效。 但有的任务执行起来却不那么直接，可能会花比较长的时间，甚至可能会比ssh的超时时间还要长。这种情况任务是不是没法执行了？ ansible考虑到了这种情况，官方文档介绍了这个问题的解决方法，就是让下发的任务执行的连接变为异步：任务下发之后，长连接不再保持，而是每隔一段时间轮询结果，直到任务结束。 这是官网相关的介绍 他们在pl...
Ansible之系列命令详解
weixin_42428532的博客
09-03 2627
ansible系列命令有：ansible、ansible-doc、ansible-playbook、ansible-vault、ansible-console、ansible-galaxy、ansible-pull，这些命令每个命令都有它独特的作用和用法，接下来我们一一来了解它的用法。 1、ansible-doc:这个命令主要作用是显示模块的帮助信息，有点类似Linux里的man命令。 命令用法： 1 ansible-doc [options] [module...]
Ansible-Playbook之异步执行
candy_rainbow的博客
07-02 2946
异步功能不作为单独的模块出现，而是作为任务参数使用，因此，大多数模块都可以异步执行； 异步执行功能通常是用来解决执行任务时间过长导致SSH连接超时。 示例： --- - hosts: "ansible-server" tasks: - name: simulate long running op (15 sec), wait for up to 45 sec, poll every 5 sec command: /bin/sleep 15 async: 45
自动化运维-Ansible详解
davidwkx的博客
02-23 888
ansible详细讲解
第五章: 用角色合成可重用Ansible内容
weixin_33774308的博客
08-10 335
用角色合成可重用Ansible内容 对于很多项目来说，简单单独的ansible剧本就满足了。随着时间的变化以及项目的增长，就需要添加额外剧本、变量文件、任务文件的分隔。组织中的其他项目可能需要复用一些内容，其他项目加入目录树或者有些内容需要在多个项目间拷贝。随着场景的复杂度和大小的增长，急切希望有松散组织的少量剧本、任务文件、以及变量文件...
Django异步任务之Celery的基本使用
09-19
主要给大家介绍了关于Django异步任务之Celery使用的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Django具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
Python利用ansible分发处理任务
12-25
其实对python熟悉的人都可以自己用paramiko来写任务的分发系统，再结合gevent的协程就能实现异步的处理。 如果只想用工具的朋友可以使用一些工具，类似｛puppet,saltstack,fabric,ansible,chef｝等，其实这些工具的...
基于Django和Ansible的批量任务处理Web平台源码
03-25
本项目是一款集成了Django框架、Ansible工具和Celery异步任务队列的Web平台，简称AnsibleUI。它旨在为用户提供一个便捷、高效的界面，用以批量处理和自动化任务管理。 技术栈： - 主要编程语言：Python - 辅助技术...
AnsibleUI:Django + Ansible + Celery 的WEB平台，用以批量处理任务
05-14
AnsibleUI 是基于Django + Ansible + Celery 的Web平台，用以批量的任务异步处理 Gitee 地址： 软件架构 软件架构说明 Ansible使用公私钥登录进行主机操作 该项目在实验楼上有开发教程，地址为 Demo 地址 admin:...
shell脚本一键安装nginx-1.18.0
misakivv的博客
04-23 286
shell脚本一键安装nginx-1.18.0
Android 14 transtion 动画流程
u012627628的博客
04-24 1020
implements Transitions.TransitionHandler 的对象都会调用到startAnimation。根据上步计算出来的sortedTargets计算要做的动画TransitionInfo。此列表在开始做动画时候会判断里面的key，value是否满足做动画的条件。将符合条件的changeInfo添加到targets 返回。计算所有的到mChanges。
八、Python+FFmpeg，实战直播推流
最新发布
weixin_51988935的博客
04-25 257
任务：一个是屏幕录制，另一个是推流。这段代码主要执行了两个不同的。的路径添加到环境变量中。
【MongoDB】--MongoDB的组合索引
寻梦友的博客
04-23 424
本文章主要介绍Mongodb的组合索引的使用。
ansible 优化
12-02
Ansible的优化可以从以下几个方面入手： 1. 调整SSH连接参数：可以通过修改SSH连接参数来提高Ansible的执行速度。例如，可以通过修改/etc/ssh/sshd_config文件中的参数来优化SSH连接。 2. 调整Ansible配置参数：可以通过修改Ansible的配置文件来优化Ansible的执行速度。例如，可以通过修改/etc/ansible/ansible.cfg文件中的参数来优化Ansible的执行速度。 3. 使用Ansible Facts：可以使用Ansible Facts来获取主机的信息，从而优化Ansible的执行速度。例如，可以通过关闭Gather Facts来提高Ansible的执行速度。 4. 使用Ansible的pipelining功能：可以使用Ansible的pipelining功能来加速SSH链接速度。可以通过修改/etc/ansible/ansible.cfg文件中的pipelining参数来开启pipelining功能。 5. 使用Ansible的异步功能：可以使用Ansible的异步功能来提高Ansible的执行速度。可以通过在playbook中使用async和poll参数来开启异步功能。 6. 使用Ansible的加速插件：可以使用Ansible的加速插件来提高Ansible的执行速度。例如，可以使用Mitogen插件来加速Ansible的执行速度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值