**
本文章只是给一个简单的思路作为参考,当前脚本仅适用于指定网站,因为每个网站的结构都不一样,不可能做到通用。大家可以结合自己要爬取的新闻网站结构做出调整。
**
<?php
// php最大执行时间设置为:半个小时,php原来默认为30秒,爬不完
ini_set('max_execution_time', '1800');
// 爬取页面全部数据
function curlGetData($url)
{
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$response = curl_exec($ch);
curl_close($ch);
$response = str_replace('gb2312','utf-8',$response);
$response = iconv("gb2312","utf-8//IGNORE",$response);
return $response;
}
// 依次循环新闻id读取新闻详情信息,需要栏目id,以及url
// 编写一个函数实现新闻详情信息读取
function getNewsInfo($id, $cateid){
$url = "网站url地址/news_view.asp?id={$id}";
$result = curlGetData($url);
$pattern = '/<div class="right_body">[\s\S]*<div class="news_next">/is';
preg_match_all($pattern, $result, $result);
$result = $result[0][0]; // 文章所有内容
// 依次获取信息
$newsInfo = [];