php-Curl扩展一个简单示例-爬取新闻网站数据

**

本文章只是给一个简单的思路作为参考，当前脚本仅适用于指定网站，因为每个网站的结构都不一样，不可能做到通用。大家可以结合自己要爬取的新闻网站结构做出调整。

**

<?php
// php最大执行时间设置为：半个小时，php原来默认为30秒，爬不完
ini_set('max_execution_time', '1800');
// 爬取页面全部数据
function curlGetData($url)
{
    
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt ($ch,  CURLOPT_HEADER,  false);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $response = curl_exec($ch);
    curl_close($ch);
    $response = str_replace('gb2312','utf-8',$response);
    $response =  iconv("gb2312","utf-8//IGNORE",$response);
    return $response;
}

// 依次循环新闻id读取新闻详情信息，需要栏目id,以及url
  // 编写一个函数实现新闻详情信息读取
function getNewsInfo($id, $cateid){
    
    $url = "网站url地址/news_view.asp?id={$id}";
    $result = curlGetData($url);
    $pattern = '/<div class="right_body">[\s\S]*<div class="news_next">/is';
    preg_match_all($pattern, $result, $result);
    $result = $result[0][0];  // 文章所有内容
    // 依次获取信息
    $newsInfo = [];