curl多线程 python_利用curl 模拟多线程

所谓多线程就是多个 程序同时运行，单线程：执行一段逻辑，等待完成后 在执行另外一个。

多线程：几个逻辑同时进行处理，不需要相互等待，提高了总的执行时间

接下来就用curl实现多线程

实现逻辑

1. fcsv.php 是csv生成文件。生成csv文件的时候，等待10秒钟。

2. curl.php 模拟多线程文件。 同时curl请求fcsv.php。

如果单线程，第二个csv文件需要 等10秒后，第一个csv文件结束了才开始做动作。

如果多线程，就是同时生成5个csv文件 。因为是并行的，所以相加也就10秒。

开始上代码

fcsv.php

1 <?php2 $p = isset($_POST['type']) ? $_POST['type'] : 0;3 $fp = fopen("file/demo_csv".$p.".csv","a"); //打开csv文件，如果不存在则创建

4 $data_arr1 = array("10001","10002","10003","10004","10005"); //第一行数据

5 $data_arr2 = array("20001","20002","20003","20004","20005"); //第二行数据

6 $data_str1 = implode(",",$data_arr1); //用 ' 分割成字符串

7 $data_str2 = implode(",",$data_arr2); //用 ' 分割成字符串

8 $data_str = $data_str1.PHP_EOL.$data_str2.PHP_EOL; //加入换行符

9 fwrite($fp,$data_str); //写入数据

10 fclose($fp); //关闭文件句柄

11 sleep(5);12 return $p;13 ?>

curl.php

<?php $mh =curl_multi_init();$conn =[];$res =[];$url = "localhost/fcsv.php";for ($i=0;$i<=5;$i++) {$data = array('type' => $i);$conn[$i]=curl_init($url);

curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1); //如果成功只将结果返回，不自动输出任何内容

curl_setopt($conn[$i], CURLOPT_POSTFIELDS, $data); //post 传参

curl_multi_add_handle ($mh,$conn[$i]);

}do { $n=curl_multi_exec($mh,$active); }while ($active);for ($i=0;$i<=5;$i++) {$res[$i]=curl_multi_getcontent($conn[$i]);

curl_close($conn[$i]);

}print_r($res);?>

运行curl.php文件

如果单线程，第二个csv文件需要 等10秒后，第一个csv文件结束了才开始做动作。

如果多线程，就是同时生成5个csv文件 。因为是并行的，所以相加也就10秒。

文件同时生成了，差不多10秒后浏览器返回值，停止请求。说明运行了多线程

这个多线程的写法步骤：

第一步：调用curl_multi_init

第二步：循环调用curl_multi_add_handle

这一步需要注意的是，curl_multi_add_handle的第二个参数是由curl_init而来的子handle。

第三步：持续调用curl_multi_exec

第四步：根据需要循环调用curl_multi_getcontent获取结果

第五步：调用curl_multi_remove_handle，并为每个字handle调用curl_close

第六步：调用curl_multi_close