php文章采集的实现

最新推荐文章于 2024-03-16 04:28:44 发布

kurobane

最新推荐文章于 2024-03-16 04:28:44 发布

阅读量817

点赞数

分类专栏： PHP C_采集文章标签： php url session insert file sql

PHP 同时被 2 个专栏收录

12 篇文章 0 订阅

订阅专栏

C_采集

2 篇文章 0 订阅

订阅专栏

http://www.codesky.net/article/doc/200708/200708068016444.htm

数据采集，大部分是用正则表达式，我简单地介绍下如何实现采集的思路．这里说的是php的实现．一般是本机运行，放到空间上是不明智的，因为不但很耗资源还需要支持远程抓取函数，比如file_get_contents($urls)file（＄url)等．
１，文章列表页面的自动切换，以及文章路径的获得．
２，获得：标题，内容
３，入库
４，问题
１，文章列表页面的自动切换，以及文章路径的获得．

a，列表页面的自动切换一般依赖动态页面来实现．比如
http://www.phpfirst.com/foru ... d=1&page=$i
可以在后面利用$i的自动增加或范围来实现，比如$i++;
也可以像penzi演示的那个一样，要从第几页到第几页，代码方面控制$i的范围就可以．

b，文章路径的获得分需要填正则和无需填正则２种：
１）无需填正则就是获得上面的文章列表页面的所有连接
　　但是最好对连接进行过滤，处理－－－判断重复连接，只留一个，处理相对路径，变成绝对路径．比如．．/ 和./等．
以下是我写的乱七八糟的实现函数：
PHP:
--------------------------------------------------------------------------------

//$e=clinchgeturl("http://phpfirst.com/forumdisplay.php?fid=1");

//var_dump($e);
function clinchgeturl($url)
{

//$url="http://127.0.0.1/1.htm";
//$rootpath="http://fsrootpathfsfsf/yyyyyy/";
//var_dump($rrr);
if(eregi('(.)*[/.](.)*',$url)){
$roopath=split("//",$url);
$rootpath="http://".$roopath[2]."/";
$nnn=count($roopath)-1;for($yu=3;$yu<$nnn;$yu++){$rootpath.=$roopath[$yu]."/";}
// var_dump($rootpath); //http: ,'',127.0.0.1,xnml,index.php
}
else{$rootpath=$url; //var_dump($rootpath);
}
if(isset($url)){
echo "$url 有下列裢接：<br>";
$fcontents = file($url);
while(list(,$line)=each($fcontents)){
while(eregi('(href[[:space:]]*=[[:space:]]*"?[[:alnum:]:@/._-]+[/?]?[^/"]*"?)',$line,$regs)){
//$regs[1] = eregi_replace('(href[[:space:]]*=[[:space:]]*/"?)([[:alnum:]:@/._-]+)(/"?)',"//2",$regs[1]);
$regs[1] = eregi_replace('(href[[:space:]]*=[[:space:]]*[/"]?)([[:alnum:]:@/._-]+[/?]?[^/"]*)(/.*)[^/"//]*([/"]?)',"//2",$regs[1]);

if(!eregi('^http:',$regs[1])){

if(eregi('^/./.',$regs[1])){
// $roopath=eregi_replace('(http:)?([[:alnum:]:@/._-]+)[[:alnum:]+](/.*)[[:alnum:]+]',"http://2",$url);

$roopath=split("//",$rootpath);
$rootpath="http://".$roopath[2]."/";
//echo "这是根本d ："."/n";
$nnn=count($roopath)-1;for($yu=3;$yu<$nnn;$yu++){$rootpath.=$roopath[$yu]."/";}
//var_dump($rootpath);
if(eregi('^/./.[//[:alnum:]]',$regs[1])){
//echo "这是../目录/ ："."/n";
//$regs[1]="../xx/xxxxxx.xx";
// $rr=split("//",$regs[1]);
//for($oooi=1;$oooi<count($rr);$oooi++)
$rrr=$regs[1];
// {$rrr.="/".$rr[$oooi];
$rrr = eregi_replace("^[/.][/.][//]",'',$rrr); //}

$regs[1]=$rootpath.$rrr;

}

}else{
if(eregi('^[[:alnum:]]',$regs[1])){ $regs[1]=$rootpath.$regs[1]; }

else{ $regs[1] = eregi_replace("^[//]",'',$regs[1]); $regs[1]=$rootpath.$regs[1]; }

}

}

$line = $regs[2];
if(eregi('(.)*[/.](htm|shtm|html|asp|aspx|php|jsp|cgi)(.)*',$regs[1])){
$out[0][]=$regs[1]; }
}
}
}for ($ouou=0;$ouou<count($out[0]);$ouou++)
{
if($out[0][$ouou]==$out[0][$ouou+1]){
$sameurlsum=1;
//echo "sameurlsum=1:";
for($sameurl=1;$sameurl<count($out[0]);$sameurl++){
if($out[0][$ouou+$sameurl]==$out[0][$ouou+$sameurl+1]){$sameurlsum++;}
else{break;}
}

for($p=$ouou;$p<count($out[0]);$p++)
{ $out[0][$p]=$out[0][$p+$sameurlsum];}
}
}

$i=0;
while($out[0][++$i]) {
//echo $root.$out[0][$i]."/r/n";
$outed[0][$i]=$out[0][$i];

}
unset($out);
$out=$outed; return $out;
}
?>

上面的东西只能zend，不然有碍市容：（
得到所有唯一的连接后，放到数组
２）需要填正则的处理
如果要准确地获得需要的文章连接，就用这个办法
按照ketle的思路
用
PHP:
--------------------------------------------------------------------------------

function cut($file,$from,$end){

$message=explode($from,$file);
$message=explode($end,$message[1]);
return $message[0];
}
$from是列表前面的html代码
$end是列表后面的html代码
以上可以通过表单提交参数．
对列表页面不是列表的部分去除，剩下的是需要的连接，
只要再通过下面正则得到：
PHP:
--------------------------------------------------------------------------------

preg_match("/^(http:)?(.*)/i",
$url, $matches);
return $matches[2];
２，获得：标题，内容

a首先，利用得到的文章路径，读取目标路径
可以通过以下函数：
PHP:
--------------------------------------------------------------------------------

file_get_contents($urls);
后者比较方便，但是缺点对比上面的就知道．
b,接下来得到标题：
一般用这个实现：
PHP:
--------------------------------------------------------------------------------

preg_match("|<TITLE>(.*)</TITLE>|",$allcontent,$title);
里面的<TITLE>(.*)</TITLE>部分通过提交表单得到.

也可以通过一系列的cut函数
比如上面提过的function cut($file,$from,$end)，具体的字符串切割可以通过字符处理函数切割实现，后面＂取得内容＂详细讲．

c,取得内容
取得内容方面和取得标题思路一样但情况比较复杂，因为内容附近不会是＜title>＜/title>这么简单．
１）内容附近的特征字符串有双引号,空格,换行符号等是大障碍
双引号需要变成　/" 　可以通过addslashes（）处理
换行符号要去掉　可以通过
PHP:
--------------------------------------------------------------------------------

$a=ereg_replace("/n", '', $a);
$a=ereg_replace("/r", '', $a);
去掉．
２）思路２，利用一大堆切割相关的函数对内容提取，需要大量的实践，调试，我正在弄这里，没有获得什么突破～～～～～～～～
３，入库

a,切保你的数据库可以插入
比如我的可以这样直接插入：
PHP:
--------------------------------------------------------------------------------

$sql="INSERT INTO ＄articles VALUES ('', '$title', '', '$article','', '', 'clinch', 'from', '关键词', 1, '$栏目id', '$time', 1);/r/n/r/n";
其中
PHP:
--------------------------------------------------------------------------------

('',
是自动升序的文章id，要确定升序的字段只有一个，比如pa是标题一个表，一个索引，内容一个表一个索引，两表的自动升序的字段要实时判断的，要插入比较麻烦，被认为＂不可插＂．
b,sql文本导出

我的思路是：

在函数里return
PHP:
--------------------------------------------------------------------------------

"INSERT INTO article_articles VALUES ('', '$title', '', '$body','', '', 'clinch', 'sohu', 'php', 1, '#clinchall#', '$time', 1);/r/n/r/n";
然后不断积累查询语句内容，最后
PHP:
--------------------------------------------------------------------------------

$fname="what_"."_page".$i.".sql";
$fp = fopen("data/$f", 'w');
if(fputs($fp, $sql))
echo "file successfully write";
fclose($fp);
根据小新的思路，非常不错
PHP:
--------------------------------------------------------------------------------

if(!empty($r_article) AND !empty($r_title))
{
$time=time();
$r_title=addslashes(trim($r_title));
$r_article=addslashes($r_article);

$get_sql="INSERT INTO article_articles VALUES ('', '$r_title', '', '$r_article','', '', '', 'sohu', '', 1, '', '$time', 1);/r/n/r/n";

if(file_exists("xingfu_".$_SESSION['p'].".sql"))
{
if(filesize("xingfu_".$_SESSION['p'].".sql")>$mysize)
{
$_SESSION['p']++;
}
}
$fp=fopen("xingfu_".$_SESSION['p'].".sql",'a');
fwrite($fp,$get_sql);
fclose($fp);
先判断是否得到标题和内容，然后生成sql语句放到文本中，还可以判断大小分页生成．
c.直接入库（入mysql）
找个db_mysql类后
直接
PHP: [Copy to clipboard]
--------------------------------------------------------------------------------

$DB->query("INSERT INTO `xxx` ( `xx` , `title` , `texts` , `sortid` ) VALUES ('', '".addslashes($title)."', '".addslashes($text)."', '".$mm."')");
４，问题

a,其实采集大多需要具体问题具体分析，想做通用的很难．
换句话说，要做到让不懂正则的人随便采集，那可需要高手的后台实现．
b,最大问题是内容切割部分，因为html代码具体情况很复杂，需要调试多次．希望有人做出个类来．
c，当切不到时处理不好会中断，注意容错．用SESSION控制可以避免很多麻烦．当　timeout的时候，刷新下就ok了．延长脚本运行时间可以＠set_time_limit（０）