如何编写自己的php爬虫,如何在PHP中创建一个简单的爬虫？

Meh。不要

parse HTML with regexes。

这里有一个DOM版本灵感来自Tatu的：

function crawl_page($url, $depth = 5)

{

static $seen = array();

if (isset($seen[$url]) || $depth === 0) {

return;

}

$seen[$url] = true;

$dom = new DOMDocument('1.0');

@$dom->loadHTMLFile($url);

$anchors = $dom->getElementsByTagName('a');

foreach ($anchors as $element) {

$href = $element->getAttribute('href');

if (0 !== strpos($href, 'http')) {

$path = '/' . ltrim($href, '/');

if (extension_loaded('http')) {

$href = http_build_url($url, array('path' => $path));

} else {

$parts = parse_url($url);

$href = $parts['scheme'] . '://';

if (isset($parts['user']) && isset($parts['pass'])) {

$href .= $parts['user'] . ':' . $parts['pass'] . '@';

}

$href .= $parts['host'];

if (isset($parts['port'])) {

$href .= ':' . $parts['port'];

}

$href .= $path;

}

}

crawl_page($href, $depth - 1);

}

echo "URL:",$url,PHP_EOL,"CONTENT:",PHP_EOL,$dom->saveHTML(),PHP_EOL,PHP_EOL;

}

crawl_page("http://hobodave.com", 2);

编辑：我修复了Tatu的版本的一些错误(现在与相对URL)。

编辑：我添加了一个新的功能，阻止它跟踪相同的URL两次。

编辑：回传输出到STDOUT现在，所以你可以重定向到任何你想要的文件

编辑：修正了乔治在他的答案中指出的错误。相对url将不再追加到url路径的末尾，而是覆盖它。感谢乔治为此。注意，乔治的答案不考虑以下任何：https，用户，传递或端口。如果你有http PECL扩展加载这是相当简单地使用http_build_url.否则，我必须手动胶合在一起使用parse_url。再次感谢乔治。