php缓存数据到本地缓存,PHP批量请求api并缓存到本地服务器

量比较小的时候速度还不错。当请求量增大之后开始考虑使用curl_multi_init获取数据，于是参照RollingCurl.php写了这样一个多线程的函数。注意：post批量请求注意参数和返回值。<?php

/**

* 批量多线程发送http/https请求，支持post批量请求

* @param $url_arr 请求地址一维数组

* @param $postFields post参数二维数组

* @param $http_headers 附加头部参数二维数组

* @param $cache_dir 本地缓存路径

* @param $cache_time 本地缓存过期时间

* @return array 关联数组,其键code为http状态码,键data为请求返回值

*/

function get_multi_api_contents($url_arr, $postFields = array(), $http_headers = array(), $cache_dir = '', $cache_time = 0)

{

$responses = $lost_urls = $map = array();

//仅当设置了$cache_time时才从缓存中读取

foreach($url_arr as $key => $url)

{

if($cache_time)

{

if(empty($postFields))

{

$cache_path = $cache_dir.'/'.md5($url);

}else{

$cache_path = $cache_dir.'/'.md5($url.serialize($postFields));

}

if(file_exists($cache_path) &&  filemtime($cache_path) + $cache_time > time() && filesize($cache_path) > 0)

{

//如果需要区分从本地缓存和从网络请求可以设置为304或其他http_code

$responses[$url] = array('code'=>200, 'data'=>file_get_contents($cache_path));

}else{

//缓存失效的url缓存

$lost_urls[$key] = array('url' => $url, 'cache' => $cache_path);

}

}else{

$lost_urls[$key] = array('url' => $url, 'cache' => null);

}

}

$queue = curl_multi_init();

foreach($lost_urls as $key => $info)

{

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $info['url']);

curl_setopt($ch, CURLOPT_TIMEOUT, 30);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

if(isset($postFields[$key]))

{

curl_setopt($ch, CURLOPT_POSTFIELDS, $postFields[$key]);

}

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_NOSIGNAL, true);

curl_setopt($ch, CURLOPT_ENCODING, 'gzip');

//和设置单个curl请求方式一样,例如

//$default_browser = '';

//curl_setopt($ch, CURLOPT_USERAGENT, $default_browser);

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

curl_setopt($ch, CURLOPT_MAXREDIRS, 10);

//https 请求

if(strtolower(substr($info['url'], 0, 5)) == 'https')

{

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);

}

if(isset($http_headers[$key]))

{

$headers = array();

foreach($http_headers[$key] as $k => $v)

{

$headers[] = "$k: $v";

}

curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

}

curl_multi_add_handle($queue, $ch);

$map[(string) $ch] = $info['url'];

}

do {

while(($code = curl_multi_exec($queue, $active)) == CURLM_CALL_MULTI_PERFORM);

if($code != CURLM_OK)

{

break;

}

while($done = curl_multi_info_read($queue))

{

$getinfo = curl_getinfo($done['handle']);

$data = curl_multi_getcontent($done['handle']);

$responses[$map[(string) $done['handle']]] = array('code'=>$getinfo['http_code'], 'data'=>$data);

curl_multi_remove_handle($queue, $done['handle']);

curl_close($done['handle']);

}

if($active > 0)

{

curl_multi_select($queue, 0.5);

}

}while($active);

curl_multi_close($queue);

//更新缓存

if($cache_time && !empty($lost_urls))

{

//填补丢失的缓存

foreach($lost_urls as $info)

{

//仅当http_code为200时写入本地缓存

if($responses[$info['url']]['code'] == 200)

{

file_put_contents($info['cache'], $responses[$info['url']]['data']);

}

}

}

return $responses;

}

测试案例：//api链接地址数组,支持https请求,使用post请求相同url时请添加无意义参数,例如?r=1

$url_arr = array(

0 => 'https://img.alicdn.com/tps/TB1sXGYIFXXXXc5XpXXXXXXXXXX.jpg?r=1',

1 => 'https://img.alicdn.com/tps/TB1pfG4IFXXXXc6XXXXXXXXXXXX.jpg?r=2',

2 => 'https://img.alicdn.com/tps/TB1h9xxIFXXXXbKXXXXXXXXXXXX.jpg?r=3',

);

//使用post参数时按照$url_arr对应键名提供

$postFields = array();

//使用自定义http头部的时候按照$url_arr对应键名提供

$http_headers = array();

//api请求缓存路径

$cache_dir = __DIR__ .'/cache';

//api请求结果在本地缓存时间,使用post方式请求时需考虑是否设置缓存时间(默认支持post缓存)

$cache_time = 3600;

$results = get_multi_api_contents($url_arr, $postFields, $http_headers, $cache_dir, $cache_time);

主要是为了其他的多线程代码(非curl多并发)中重复请求相同的url时优先从缓存中读取，减小访问新浪接口次数。

考虑到并发不能太高，获得请求结果之后可以从code中判断http响应值是否为200再决定是否重新请求，而且缓存之间相互独立。不过，该方法的性能肯定没有网上的传的《Curl多线程 | X》那么强大，那篇文章给出的curl类请求号称是充分利用CPU和带宽，且支持回调函数，以后需要的时候肯定能派上用场。

转载随意，但请附上文章地址:-)