php采集防盗链的图片

一、如何采集信息

    以前听说过采集的，但是没自己搞过，一直以为采集是一个十分高大上的技术。这段时间在做一个电商项目，需要往数据库添加数据，一条一条的添加有点蛋疼，谁有这么多时间做这么没有意义的事情呢，所以就想到了数据采集，采集京东、天猫的数据多好，多省事呀，于是便行动起来。

    做采集，我首先想到的是正则表达式，我还复习了一下正则，但是如何匹配多层嵌套的div的呢？

    我的目的就是获取id="plist"的内容，然后获取li里面的信息

    画了不少时间，用正则方式没有找到解决办法，但是找到另外一种方法--phpQuery。phpQuery用来匹配html中的内容比正则简单太多了，只要会jquery，使用起来几乎无障碍。

关于phpQuery的详细使用方法，可以参考博客：https://blog.csdn.net/u012543061/article/details/61194372

二、采集案例

<?php
	require './phpQuery.php';
	
	//获取远程图片
	function curl_file_get_contents($url,$from){
		//初始化curl会话
		$ch = curl_init();
		//设置一个cURL传输选项。
		curl_setopt($ch, CURLOPT_URL, $url);					//目标 
		curl_setopt($ch, CURLOPT_TIMEOUT, 2);
		//curl_setopt($ch, CURLOPT_USERAGENT, _USERAGENT_);	 
		curl_setopt($ch, CURLOPT_REFERER,$from);			//伪造来路  
		curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
		$result = curl_exec($ch);
		curl_close($ch);
		return $result;
	}
 
	
	//载入文档
	phpQuery::newDocumentFile('https://list.jd.com/list.html?cat=670,671,672');
	$list = pq('li.gl-item');
	
	
	
	$from = 'http://list.jd.com/list.html?cat=670,671,672';
	for($i=0;$i<count($list);$i++){
		$src = pq($list)->eq($i)->find('.p-img')->find('img')->attr('src');
		
		if(!$src){
			$src = pq($list)->eq($i)->find('.p-img')->find('img')->attr('data-lazy-img');
		}

		
		
		$src = str_replace('/n7/','/n1/',$src);
		$result = curl_file_get_contents('http:'.$src,$from);
		file_put_contents('./images/'.basename($src), $result);
	}
?>

一瞬间就保存了60张图片的，牛掰吧

我的大作，欢迎来踩 www.iis7.com