转发一个PHP抓取网页快照程序

最新推荐文章于 2021-03-27 16:17:09 发布

frank_29

最新推荐文章于 2021-03-27 16:17:09 发布

阅读量2.3k

点赞数

分类专栏： PHP 文章标签： php url scheme function path file

本文链接：https://blog.csdn.net/frank_29/article/details/6861705

版权

PHP 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

转发一个PHP抓取网页快照程序，代码是转发的，注释是原创的，帮助新人理解。

snap.class.php

<?PHP
//====================================================
// FileName: snap.class.php
// Summary: 网页快照
// Author: millken(迷路林肯)
// LastModifed:2007-06-29
// copyright (c)2007 [email]millken@gmail.com[/email]
//====================================================
class snap{
var $dir;
var $log;
var $contents; // 缓冲文件内容
var $filename; // 缓冲文件的文件地址
var $host; // 目标地址
var $name; // 缓冲文件的文件名, 值是Url的MD5码
var $data_ts; // 缓冲文件的时间戳
var $ttl; // 超时时间
var $url; // 需要抓快照的Url地址
var $ts; //
function snap(){
$this->log = "New snap() object instantiated. \n";
$this->dir = dirname(__FILE__)."/";
}
/*
获取网页快照。
参数：
url:网页地址
ttl:超时时间，单位为秒。
超过这个时间后从网页上获取，在此时间内直接读缓冲文件。
返回值：
无
*/
function fetch($url="",$ttl=10) {
$this->log .= "-------------------------------- fetch() called \n";
$this->log .= "url: ".$url." \n";
// 验证Url是否合法。
$hosts = parse_url($url);
$this->host = $hosts['scheme'].'://'.$hosts['host'].'/';
if (!$url) {
$this->log .= "OOPS: You need to pass a URL! ";
return false;
}
$this->ttl = $ttl;
$this->url = $url;
$this->name = md5($this->url);
$this->filename = $this->dir.$this->name;
$this->log .= "Filename: ".$this->filename." ";
$this->getFile_ts();
$this->file_get_content();
}
/*
获取快照内容。
如果超时，则从网页上直接获取，否则从缓存文件获取
参数：
无
返回值：
true:成功, false:失败
*/
function file_get_content(){
// 打开缓冲区
ob_start();
$this->ts = time() - $this->data_ts;
// 如果超时，则从网页上取得快照，否则，直接从缓冲区内取得
if($this->data_ts <> 0 && $this->ts <= $this->ttl){
$this->log .= "cache has expired ";
@readfile($this->filename);
$this->contents = ob_get_contents();
ob_end_clean();
}else{
$this->log .= "cache hasn't expired ";
@readfile($this->url);
$this->contents = ob_get_contents();
ob_end_clean();
$this->saveToCache();
}
return true;
}
/*
保存快照到缓存文件。
参数：
无
返回值：
true:成功, false:失败
*/
function saveToCache(){
$this->log .= "saveToCache() called ";
//建立一个新文件用户缓存网页快照
if (!$fp=@fopen($this->filename,"w")) {
$this->log .= "Could not open ".$this->filename." ";
return false;
}
$this->contents = $this->formaturl($this->contents, $this->host);
$this->contents = preg_replace("'<script[^>]*?>.*?</script>'si","",$this->contents);
//写文件
if (!@fwrite($fp,$this->contents)) {
$this->log .= "Could not write to ".$this->filename." ";
fclose($fp);
return false;
}
//关闭文件
fclose($fp);
return true;
}

/*
获得文件的时间戳
参数：
无
返回值：
true:成功, false:失败
*/
function getFile_ts() {
$this->log .= "getFile_ts() called ";
if (!file_exists($this->filename)) {
$this->data_ts = 0;
$this->log .= $this->filename." does not exist ";
return false;
}
$this->data_ts = filemtime($this->filename);
return true;
}
/*
格式化特殊的Url
参数：
无
返回值：
格式化后的Url。
*/
function formaturl($l1, $l2){
// 查询网页上的所有img，link，a
if (preg_match_all("/(<img[^>]+src=\"([^\"]+)\"[^>]*>)|(<link[^>]+href=\"([^\"]+)\"[^>]*>)|(<a[^>]+href=\"([^\"]+)\"[^>]*>)|(<img[^>]+src='([^']+)'[^>]*>)|(<a[^>]+href='([^']+)'[^>]*>)/i",$l1,$regs)){
foreach($regs[0] as $num => $url) {
$l1 = str_replace($url, $this->lIIIIl($url, $l2), $l1);
}
}
return $l1;
}
/*
将画面上的二级地址重新解析，以保证画面显示正确
例如:相对地址/css/sty004.css 会替换为绝对地址 http://xxx.com/css/sty004.css
参数：
$l1:要解析的地址
$l2:需要加上的host前缀
返回值：
格式化后的Url。
*/
function lIIIIl($l1, $l2) {
if(preg_match("/(.*)(href|src)\=(.+?)( |\/\>|\>).*/i", $l1, $regs)){
$I2 = $regs[3];
}
if(strlen($I2)>0) {
// 去掉双引号chr(34)和单引号chr(39)
$I1 = str_replace(chr(34),"",$I2);
$I1 = str_replace(chr(39),"",$I1);
} else {
return $l1;
}
$url_parsed = parse_url($l2);
$scheme = $url_parsed["scheme"];
if($scheme!="") {
$scheme = $scheme."://";
}
$host = $url_parsed["host"];
$l3 = $scheme.$host;
if(strlen($l3)==0)
{
return $l1;
}
$path = dirname($url_parsed["path"]);
if($path[0]=="\\") {
$path="";
}
$pos = strpos($I1,"#");
if($pos>0) {
$I1 = substr($I1,0,$pos);
}
//判断类型
if(preg_match("/^(http|https|ftp):(\/\/|\\\\)(([\w\/\\\+\-~`@:%])+\.)+([\w\/\\\.\=\?\+\-~`@\':!%#]|(&)|&)+/i",$I1)) {
return $l1;
//http类型的url要跳转;
} elseif($I1[0]=="/") {
//绝对路径
$I1 = $l3.$I1;
} elseif(substr($I1,0,3)=="../") {
//相对路径
while(substr($I1,0,3)=="../") {
$I1 = substr($I1,strlen($I1)-(strlen($I1)-3),strlen($I1)-3);
if(strlen($path)>0){
$path = dirname($path);
}
}
$I1 = $l3.$path."/".$I1;
} elseif(substr($I1,0,2)=="./") {
$I1 = $l3.$path.substr($I1,strlen($I1)-(strlen($I1)-1),strlen($I1)-1);
} elseif(strtolower(substr($I1,0,7))=="mailto:"||strtolower(substr($I1,0,11))=="javascript:") {
return $l1;
} else {
$I1 = $l3.$path."/".$I1;
}
return str_replace($I2,"\"$I1\"",$l1);
}
}
?>