在编写PHP爬虫时：掌握错误处理的艺术

在编写PHP爬虫时，错误处理是一个至关重要的环节。正确地处理错误不仅可以提高爬虫的稳定性和可靠性，还可以帮助开发者快速定位和解决问题。本文将介绍在编写PHP爬虫时常见的错误处理方法。

1. 异常捕获

使用try-catch语句块来捕获和处理可能发生的异常。这是错误处理中最常用的方法之一。

try {
    // 爬虫逻辑
    $content = file_get_contents($url);
} catch (Exception $e) {
    // 处理异常，例如记录日志或输出错误信息
    error_log($e->getMessage());
}

2. 检查HTTP状态码

在发送HTTP请求后，检查响应的状态码，以确定请求是否成功。

$response = $client->request('GET', $url);
if ($response->getStatusCode() != 200) {
    // 处理非200状态码的情况
    error_log("请求失败，状态码：" . $response->getStatusCode());
}

3. 超时和重试机制

为网络请求设置超时，并在请求失败时实现重试逻辑。

$client = new GuzzleHttp\Client(['timeout' => 2.0]);
try {
    $response = $client->request('GET', $url);
} catch (GuzzleHttp\Exception\RequestException $e) {
    if ($e->hasResponse()) {
        // 处理有响应的异常，例如重试
        $response = $e->getResponse();
        error_log("请求异常，状态码：" . $response->getStatusCode());
    } else {
        // 处理无响应的异常，例如重试
        error_log("请求异常：" . $e->getMessage());
    }
}

4. 数据验证

在处理爬取到的数据时，验证数据的完整性和有效性。

if (empty($data)) {
    error_log("获取到的数据为空");
} else {
    // 处理数据
}

5. 日志记录

记录详细的错误日志，这对于调试和监控爬虫的运行状态非常有用。

error_log("爬虫运行中发生错误：" . $e->getMessage());

6. 资源清理

确保在捕获异常后正确释放资源，如关闭文件句柄或网络连接。

$fp = fopen($file, 'r');
if ($fp === false) {
    error_log("无法打开文件：$file");
} else {
    // 读取文件内容
    fclose($fp);
}

7. 用户反馈

在爬虫运行出错时，向用户提供清晰的反馈信息。

if ($errorOccurred) {
    echo "很抱歉，服务暂时不可用，请稍后再试。";
}

8. 避免无限循环

在实现重试逻辑时，避免无限循环，设置最大重试次数。

$retryCount = 0;
while ($retryCount < 3) {
    try {
        // 尝试请求
        break; // 成功则跳出循环
    } catch (Exception $e) {
        $retryCount++;
        if ($retryCount >= 3) {
            error_log("请求失败超过最大重试次数");
            break;
        }
    }
}