用file_get_contents进行采集
<?php
header("content-type:text/html;charset=utf-8");
$url="http://www.php7.com/dwzchd/aa.html";
$file=file_get_contents($url);
$pre='#<div class="mod-content clearfix show-content-bg">(.*)<div class="map-content clearfix">#isU';
preg_match($pre,$file,$content);
$pre1='#<a href="(.*)" .*">([^<>]*)</a>#isU';
preg_match_all($pre1,$content[0],$content1);
//print_r($content1);die;
$count=count($content1[0]);
//echo $count;die;
$pre2='#<img src="(.*)" width="16" height="16" class="img1">#isU';
preg_match_all($pre2,$content[0],$content2);
foreach($content2[1] as $key => $val){
$content2[1][$key]= "http://www.php7.com/dwzchd/".$val;
//echo $path['basename'];die;
$img=file_get_contents($content2[1][$key]);
file_put_contents("public/".$key.".png",$img);
}
//print_r($content2[1]);die;
echo "加载图片成功";
下载图片
$count1=count($content2[1]);
for($i=0;$i<$count1;$i++){
//$arr1[]['picture']=$content2[1][$i];
$img=file_get_contents($content2[1][$i]);
file_put_contents("public/".rand(1000,9999).'.png',$img);
}
Snoopy是什么?
Snoopy是一个php类,用来模仿web浏览器的功能,它能完成获取网页内容和发送表单的任务。
Snoopy的一些特点:
1抓取网页的内容 fetch
2 抓取网页的文本内容 (去除HTML标签) fetchtext
3抓取网页的链接,表单 fetchlinks fetchform
4 支持代理主机
5支持基本的用户名/密码验证
6 支持设置 user_agent, referer(来路), cookies 和 header content(头文件)
7支持浏览器重定向,并能控制重定向深度
8能把网页中的链接扩展成高质量的url(默认)
9提交数据并且获取返回值
10 支持跟踪HTML框架
11支持重定向的时候传递cookies
snoopy,
include "Snoopy.class.php";
$snoopy = new Snoopy;
$snoopy->fetchtext("http://www.php.net/");
print $snoopy->results;
$snoopy->fetchlinks("http://www.phpbuilder.com/");
print $snoopy->results;
$submit_url = "http://lnk.ispi.net/texis/scripts/msearch/netsearch.html";
$submit_vars["q"] = "amiga";
$submit_vars["submit"] = "Search!";
$submit_vars["searchhost"] = "Altavista";
$snoopy->submit($submit_url,$submit_vars);
print $snoopy->results;
$snoopy->maxframes=5;
$snoopy->fetch("http://www.ispi.net/");
echo "<PRE>\n";
echo htmlentities($snoopy->results[0]);
echo htmlentities($snoopy->results[1]);
echo htmlentities($snoopy->results[2]);
echo "</PRE>\n";
$snoopy->fetchform("http://www.altavista.com");
print $snoopy->results;
采集(file_get_contents)
最新推荐文章于 2022-09-23 15:09:44 发布