curl采集

 

前提！!!！!!!!!

开启curl支持

由于php环境安装后默认是没有打开curl支持的，需修改php.ini文件，找到;extension=php_curl.dll，把前面的冒号去掉，重启服务即可；

 

 

 

使用curl进行数据抓取

 

代码如下:

// 初始化一个 cURL 对象
$curl = curl_init();
// 设置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, 'http://www.cmx8.cn');
// 设置header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 设置cURL 参数，要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 运行cURL，请求网页
$data = curl_exec($curl);
// 关闭URL请求
curl_close($curl);

 

 

 

3、通过正则匹配找到关键数据

 

复制代码 代码如下:

//$data是curl_exec返回的的值，即采集的目标内容
preg_match_all("/<li class=\"item\">(.*?)<\/li>/",$data, $out, PREG_SET_ORDER);
foreach($out as $key => $value){
    //此处$value是数组，同时记录找到带匹配字符的整句和单独匹配的字符
    echo '匹配到的整句：'.$value[0].'
';
    echo '单独匹配到的：'.$value[1].'
';
}