PHP + PYTHON 多任务多线程,后台运行,计划任务-实现方法

有时候在做程序的时候,会发现AJAX来做批量异步不怎么好。而PHP又不支持多线程。效率不高。

在这个时候就会使用PYTHON来做后台多线程操作。

在WINDOWS下比较麻烦,第一:如果是多任务的话,需要几个启动文件,一般一个启动文件为一个PHP文件。

启动文件内是运行CMD的代码

这个是项目下PYTHON的脚本和PHP临时启动文件缓存日志放的目录。



一般在启动文件运行之前需要把PYTHON脚本文件复制到C盘PYTHON.EXE目录下。这样才能正常运行(或者是因为权限问题吧)

所以在启动文件启动之前,让PHP把PYTHON脚本复制到PYTHON.EXE目录下。

然后创建启动文件

启动文件代码如下:(启动文件是放在phpcache 目录下的)


<?php system("C:\\Python27\python.exe C:\\Python27\T21.py >../log/21.log")?>


多个任务需要使用多个启动文件和多个执行文件(PYTHON脚本)。这样才能达到多任务,多线程。

不能几个任务使用一个脚本去操作。



然后使用PHP访问启动文件开启任务执行。


访问代码如下:


然后后台程序就开始运行了。  


测试效果:

2万条数据(远程)- 大量数据的情况下,启动6个任务,每个任务10个线程。6个任务分别获取不同类目的数据。 花了48秒完成任务。


思路整理:

1、PHP要用FOPEN来打开一个页面,从而启动任务。

2、如果开启多个任务必须要生成多个启动文件(PHP-放运行CMD的)

3、如果开启多个任务必须要复制多个执行文件(PYTHON脚本)到PYTHON.EXE目录

4、LINUX下的思路也差不多,只是在那个执行文件和脚本下有些区别

5、其他的自己扩展吧..


请注意:本文严禁任何公司或者个人转载,本文是原创文章。


  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
taskPHP taskPHP基于php开发的定时计划任务框架,利用多进程实现任务的分配和运行,利用内存共享实现进程间通信,支持多线程模式需要安装pthreads扩展(可选),支持linux和windows。有较好的伸缩性、扩展性、健壮稳定性而被多家公司使用,同时也希望开源爱好者一起贡献。   框架概况 框架目录结构: taskPHP 根目录 |-- core 框架系统目录 | |-- lib 框架核心文件目录 | | |-- .... 众多的框架核心类库文件 | |-- guide.php 框架引导文件 | |-- distribute_listen.php 任务派发进程入口 | |-- worker_listen.php 任务执行进程入口 |-- docs 开发文档存放目录 |-- logs 日志目录 |-- tasks 用户任务目录 | |-- demo demo任务 | | |-- Lib demo任务的扩展目录 | | |-- demoTask.php demo任务类文件 | | |-- config.php demo任务配置文件 | | ... 更多任务 | |-- config.php 全局配置文件 |-- main.php 框架入口文件 |-- windows_single.cmd windows快速启动文件 框架说明 linux下子进程执行任务,修改脚本无需重启后台服务立即生效,windows下修改任务脚本后需重启后台脚本 但往系统添加执行不受影响。 框架支持多线程模式,需要安装pthreads扩展(可选)。 使用内存共享实现进程通信,堵塞式消息队列,整个框架的运行无需第三方扩展。 任务派发及具体任务执行不在同个进程[distribute_listen.php]和[worker_listen.php],windows和linux下启用入口文件[main.php],windows下可运行[windows_single.cmd]快速启动。 执行时间语法跟crontab类似,且支持秒设置。 添加任务简单,只需继承Task基类,实现任务入口run方法。 环境要求 php版本>= 5.5 开启shmop 注意事项 由于任务存在派发时间,所以任务运行的时间可能会有1-2秒的误差。 windows下执行任务在循环里,编写任务有问题或调用exit将导致后台脚本停止,linux下无此问题。 建议生产部署在linux下运行多进程模式,因为运行在多线程模式运行一段时间后报错,pthreads has detected that the core\lib\Pthread could not be started, the system lacks the necessary resources or the system-imposed limit would be exceeded in xxx 文档列表 -->数据库类使用教程 支持(Mysql,Mongo,Oracle,Pgsql,Sqlsrv,Sqllite) -->windows下安装php多线程扩展pthreads教程 -->工具类Utils使用说明 -->http请求客户端类Client使用说明 使用说明 时间配置格式说明: * * * * * * * //格式 :秒 分 时 天 月 年 周 10 * * * * * * //表示每一分钟的第10秒运行 /10 * * * * * * //表示每10秒运行 /1 * 15,16 * * * * //表示 每天的15点,16点的每一秒运行 系统命令说明: main.php [start] 启动 可不带参数 main.php close 结束 main.php reload 重新加载任务 main.php delete demo 删除任务 main.php select 查看任务列表 main.php exec demo 运行任务 主要用于任务开发中调试单个任务 全局配置文件规范 标签:taskphp  计划任务
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值