周考 信息采集 使用PDO添加入库 展示 及分页效果

《互联网系项目优化第一周周考测验题》

 

题号	一	总分	批卷人	审核人
得分

 

 

 

 

 

 

案例效果：

 

案例描述：

1.采集网址“http://sports.sohu.com/nba.shtml”；

2.采集如上所示的图片，标题，详细信息（图片缓存到本地）

评分标准：（可以参考相关手册，不允许参考本机相关代码，否则视为0分）

1.采集上述所要求的数据，进行入库操作（40分）

2.图片采集保存在本地成功（20分）

3.按表格的形式展示出所采集的信息，详情部分只需显示10个长度的内容（类似于 “你好，我好，大家好啊....”），其余部分使用省略号代替（40分）

4.所有数据库的操作均使用PDO进行操作

1）nab.php

<?php 
header('content-type:text/html;charset=utf-8');


include("curl.php");


$url = "http://sports.sohu.com/nba.shtml/";


$data =curl($url,array(),'GET');
// echo $data;die;
$arr = mb_convert_encoding($data,"UTF-8","gb2312");


//echo $arr;die;


$reg ='#<div style="HEIGHT: 290px; OVERFLOW: hidden" id="columnID" class="heavyColumn">.*<div class="clear">#isU';


preg_match($reg,$arr,$arr1);


//print_r($arr1);


$reg1 ='#<a onFocus=".*" title="" href=".*" target=".*"><img alt=".*" src="(.*)" border=".*" height=".*" width=".*"></a>#isU';


preg_match_all($reg1,$arr1[0],$arr2);


//var_dump($arr2);


$img= $arr2[1];//获取图片




$reg2='#<p>(.*)<a onFocus=".*" href=".*" target=".*">(.*)</a>.*</p>#isU';


preg_match_all($reg2,$arr1[0],$arr3);


//var_dump($arr3);die;


$title = $arr3[1];//获取内容


 $content = $arr3[2];//获取解说


//pdo进行入库;
    $pdo=new PDO('mysql:host=localhost;dbname=test','root','');
//设置字符集
$sql1="set names utf8";
//exex执行写操作(增、删、改)
$row=$pdo->exec($sql1);
//echo $row;exit;


foreach ($img as $key => $v) {
$str=file_get_contents($v);
$path=pathinfo($v);
$path=$path['extension'];
$filename='images/'.time().rand(1000,9999).'.'.$path;
    //把图片的内容写入到文件中，就把图片保存到本地
file_put_contents($filename,$str);


//sql语句
$sql="insert into souhu(id,img,title,content)values(null,'$filename','$title[$key]','$content[$key]')";
$pdo->exec($sql);
}
2）nab1.php

<?php
header('content-type:text/html;charset=utf8');
//pdo进行入库;
$pdo=new PDO('mysql:host=localhost;dbname=test','root','');
//设置字符集
$sql1="set names utf8";
$pdo->exec($sql1);
$sql="select * from souhu";
$res=$pdo->query($sql);
@$total=mysql_num_rows($res);//总条数  
$num=2;//每页显示条数  
$url="nab1.php";//请求的URL  
$cpage=isset($_GET["page"])?$_GET["page"]:1;//当前页  
$pagenum=ceil($total/$num);//总页数  
$offset=($cpage-1)*$num;//开始去数据的位置 
$res=$pdo->query("select * from souhu limit {$offset},{$num}");
$res = $res->fetchAll(PDO::FETCH_ASSOC);
$start=$offset+1;//开始记录页  
$end=($cpage==$pagenum)?$total : ($cpage*$num);//结束记录页  
$next=($cpage==$pagenum)? 0:($cpage+1);//下一页  
$prev=($cpage==1)? 0:($cpage-1);//前一页  
echo"<table border=1>";
foreach($res as $k=>$arr){
echo "<tr>";
$img = $arr['img'];
echo "<td>"."<img src='$img'></td>";
echo "<td>".$arr['title']."</td>";
echo "<td>".$arr['content']."</td>";
echo "</tr>";
}
echo"</table>";
echo "共<b>$total</b>条记录，本页显示<b>{$start}-{$end}</b> {$cpage}/{$pagenum}";  
    if($cpage==1)  
        echo "  首页  ";  
    else  
        echo "  <a href='{$url}?page=1'>首页</a>  ";  
    if($prev)  
        echo "  <a href='{$url}?page={$prev}'>上一页</a>  ";  
    else  
        echo "  上一页  ";  
    if($next)  
        echo "  <a href='{$url}?page={$next}'>下一页</a>  ";  
    else  
        echo "  下一页  ";  
    if($pagenum)  
        echo "  尾页  ";  
    else  
        echo "  <a href='{$url}?page={$pagenum}'>尾页</a>  ";
 ?>

3）curl.php

<?php
  //var_dump($_SERVER);exit;
  $cookie_file = tempnam('./temp','cookie');  //创建cookie文件保存的位置
  //echo $cookie_file;exit;
 function  curl($url,$data,$method,$setcooke=false,$cookie_file=false){
$ch = curl_init(); //1.初始化
curl_setopt($ch, CURLOPT_URL, $url); //2.请求地址
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, $method);//3.请求方式
//4.参数如下
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0'); //指明以哪种方式进行访问
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_AUTOREFERER, 1);
curl_setopt($ch, CURLOPT_REFERER,'http://internet.baidu.com'); //伪装原页面访问
if($method=="POST"){//5.post方式的时候添加数据
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
}
if($setcooke==true){
//如果设置要请求的cookie，那么把cookie值保存在指定的文件中
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
}else{
//就从文件中读取cookie的信息
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
}
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$tmpInfo = curl_exec($ch);


if (curl_errno($ch)) {
return curl_error($ch);
}
curl_close($ch);
return $tmpInfo;
}
/*
  //模拟get请求
   $url="https://www.taobao.com/";
   $str=curl($url,array(),'GET');
   //echo $str;
  //post请求
   $url="http://www.study.com/seven7/1408phpB/20160311/1.php";
   $data=array('username'=>'abc');
   $str=curl($url,$data,'POST');
   echo $str;
   */
   //模拟登陆
    //登陆保存用户信息到cookie中
    $url="http://www.123.com/user.php";
$data=array('username'=>'ecshop','password'=>'ecshop','remember'=>'1','act'=>'act_login','back_act'=>'./index.php','submit'=>'');
//post提交
    curl($url,$data,'POST',true,$cookie_file);
//get获取
$url="http://www.123.com/user.php?act=order_list";
    $str=curl($url,array(),'GET',false,$cookie_file);
//echo $str;