php curl 采集 类库,使用 php curl 有几种采集知乎数据的方法，新手，求大神指教...

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼

采集类

namespace framework\tools;

/*

* 使用curl扩展发出http的get或post请求

*/

class HttpRequest

{

//url，请求的服务器地址

private $url = '';

//is_return，是否返回结果而不是直接显示

private $is_return = 1;

public function __set($p,$v)

{

if(property_exists($this, $p)){

$this->$p = $v;

}

}

// 发出http请求的方法

//参数：提交的数据，默认是空的

public function send($data = array())

{

//1. 如果传递数据了，说明向服务器提交数据(post)，如果没有传递数据，认为从服务器读取资源(get)

$ch = curl_init();

//2. 不管是get、post，跳过证书的验证

curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);

//3. 设置请求的服务器地址

curl_setopt($ch, CURLOPT_URL, $this->url);

//4. 判断是get还是post

if(!empty($data)){

curl_setopt($ch, CURLOPT_POST, true);

curl_setopt($ch, CURLOPT_POSTFIELDS, $data);

}

//5. 是否返回数据

if($this->is_return===1){

//说明返回

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

$result = curl_exec($ch);

curl_close($ch);

return $result;

}else{

//直接输出

curl_exec($ch);

curl_close($ch);

}

}

}

//接收采集的网址，并制定规则

public function collectAction(){

$url = $_POST['url'];

//开始采集

$http = new HttpRequest();

$http -> url = $url;

$result = $http -> send();

//定义规则，进行筛选

$reg = '/(.+?).+?(.+?)/su';

preg_match_all($reg,$result,$match);

//问题的标题是

$title = $match[1];

$replys = $match[2];

//将这些问题列表、对应的回复保存到数据库

$m_question = Factory::M('home\model\Question');

$m_reply = Factory::M('Reply');

foreach ($title as $k=>$v){

$data['question_title'] = $v;

$data['cat_id'] = 1;//固定死分类id为1，将来会有小便二次编辑

$data['user_id'] = 1;

$data['pub_time'] = time();//也是小编审核的时间

$data['question_title']=$v;

//返回问题的主键值

$question_id = $m_question -> insert($data);

if($question_id){

//保存该问题对应的恢复

$dd['reply_content'] = $replys[$k];

$dd['user_id'] = 1;

$dd['reply_time'] = time();//也应该是小编指定的，

$dd['question_id'] = $question_id;

$m_reply -> insert($dd);

}

}

//$this->jump('index.php','caijichenggong');

}