mysql 多进程 分批_php多进程结合Linux利器split命令实现把大文件分批高效处理

有时候会遇到这样的需求，比如log日志文件，这个文件很大，甚至上百M，需要把所有的日志拿来做统计，这时候我们如果用单进程来处理，效率会很慢。

如果我们想要快速完成这项需求，我们可以利用Linux的一个利器split，先根据这个文件的总大小、总行数，来按照一个比例来分割，在根据分割的文件数量，fork出一定比例合适的子进程数量分批处理，那么效率可想而知。

//shell

# split -l 1000 -d test.txt new_test.txt --verbose //比如这里切割了10份

//php代码

//根据切割数量，fork相匹配的子进程数量

$count = 10;

for ($i = 0; $i < $count; ++$i ) {

$pid = pcntl_fork(); //创建子进程

//父进程和子进程都会执行下面代码

if ($pid == -1) {

//错误处理：创建子进程失败时返回-1.

die('could not fork');

} else if ($pid) {

//父进程会得到子进程号，所以这里是父进程执行的逻辑

//如果不需要阻塞进程，而又想得到子进程的退出状态，则可以注释掉pcntl_wait($status)语句，或写成：

pcntl_wait($status,WNOHANG); //等待子进程中断，防止子进程成为僵尸进程。

} else {

// 业务处理 begin

func("new_text.txt0".$i);

// 业务处理 end

exit(0) ;

}

}

以上内容希望帮助到大家，很多PHPer在进阶的时候总会遇到一些问题和瓶颈，业务代码写多了没有方向感，不知道该从那里入手去提升，对此我整理了一些资料，包括但不限于：分布式架构、高可扩展、高性能、高并发、服务器性能调优、TP6，laravel，YII2，Redis，Swoole、Swoft、Kafka、Mysql优化、shell脚本、Docker、微服务、Nginx等多个知识点高级进阶干货需要的可以免费分享给大家或 者关注咱们下面的知乎专栏PHP架构师圈子​zhuanlan.zhihu.com