PHP爬虫

用PHP编写一个简单的爬虫代码

<?php
function crawlWebsite($url) {
    // 创建一个cURL资源
    $curl = curl_init();

    // 设置URL和相应的选项
    curl_setopt($curl, CURLOPT_URL, $url);
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);

    // 执行cURL请求并获取返回的内容
    $html = curl_exec($curl);

    // 关闭cURL资源
    curl_close($curl);

    return $html;
}

// 指定要爬取的网站URL
$targetUrl = "http://example.com";

// 爬取网页内容
$html = crawlWebsite($targetUrl);

// 处理爬取到的网页内容
echo $html;
?>

上面的代码通过使用PHP的cURL库,创建了一个爬虫函数crawlWebsite()。该函数接收一个URL作为参数,并返回该URL对应的网页内容。

在爬取过程中,我们通过设置一些cURL选项,如CURLOPT_RETURNTRANSFER用于将结果以字符串形式返回,CURLOPT_FOLLOWLOCATION用于跟随重定向链接。然后,利用curl_exec()执行cURL请求并获取返回的内容。

最后,我们可以对爬取到的网页内容进行处理,这里只是简单的将其输出。你可以根据实际需求对爬取到的内容进行解析、保存等操作。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值