php任务分配思路_PHP 多进程任务自动分配 采集 函数 使用备忘 6 进程 5个小时 处理 21 万有效产品 数据测试...

客户端

示例

客户端使用的 是php 写的交互式客户端 可以看到任务分配的非常平均 6 进程 每个进程分配3.4748 万个任务 平均9/S 9个任务每秒

任务是远程下载国外亚马逊的图片

使用方法 以及函数说明

/**

* WeiCot Sp Framework

* User: ajiang

* Date: 2017/6/17 0016

* Time: 16:37

*/

include_once "Bootstrap.php";

include_once "TaskConfig.php";

use Weicot\Mysql;

use Weicot\Spider\Collection;

use Weicot\Spider\TaskTable;

$Collection = new Collection;

$db = new Mysql;

$taskTable = new TaskTable;

$taskTable->prinInfo = true; //打印信息

$taskTable->longLogShow = false; //输出长日志

$taskTable->debugScript = true; //输出执行脚本

$taskTable->filterTaskTableStatus = $runStatus; //筛选任务状态

$taskTable->oriTable = $oriTable; //源表

$taskTable->ini($runIni); //导入配置文件

$taskTable->setServiceGrop($totalServiceAutomatic); //设置服务器组

//本表的操作 自动分配 自动运行 自动采集

/*

$taskTable->setSwitchModeStatus("importData","Y"); //导入数据

$taskTable->setSwitchModeStatus("spiderBeg","Y"); //开始爬取

$taskTable->setSwitchModeStatus("syncOri","N"); //同步源表

$taskTable->automaticallyAssignRunTasks($runAutomaticallyAssignRunTasksWhere); //自动添加 分配任务 并运行脚本

*/

//采集自动采集 剩下的数据

//$taskTable->addIndex(); //给task_table figId 添加索引

$taskTable->setSwitchModeStatus("importData", "N"); //导入数据

$taskTable->setSwitchModeStatus("