如何使用php写爬虫,我如何用PHP做一个简单的爬虫？

如下:

我有一个有很多链接的网页，我想编写一个脚本，它可以将所有包含在那些链接中的数据转储在一个本地文件中。

有人用PHP实现了这个功能吗？所有的参考和陷阱都可以是答案。

回答

不要用正则表达式来解析。使用PHP自带的DOM解析器(DOM解析器是用来解析HTML代码的利器，居家旅行必备)。

loadHTMLFile($url);

$anchors = $dom->getElementsByTagName('a');

foreach ($anchors as $element) {

$href = $element->getAttribute('href');

if (0 !== strpos($href, 'http')) {

$path = '/' . ltrim($href, '/');

if (extension_loaded('http')) {

$href = http_build_url($url, array('path' => $path));

} else {

$parts = parse_url($url);

$href = $parts['scheme'] . '://';

if (isset($parts['user']) && isset($parts['pass'])) {

$href .= $parts['user'] . ':' . $parts['pass'] . '@';

}

$href .= $parts['host'];

if (isset($parts['port'])) {

$href .= ':' . $parts['port'];

}

$href .= $path;

}

}

crawl_page($href, $depth - 1);

}

echo "URL:",$url,PHP_EOL,"CONTENT:",PHP_EOL,$dom->saveHTML(),PHP_EOL,PHP_EOL;

}

crawl_page("http://hobodave.com", 2);