获取前端网页 php爬虫 get_html.php

最新推荐文章于 2024-03-08 21:59:45 发布
最新推荐文章于 2024-03-08 21:59:45 发布
阅读量2.3k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gongpeng1966/article/details/52733845
版权 
<!DOCTYPE html>
<html>
<head>
<title>spider</title>
</head>
<body>
<form method="get" action="get_html.php">
crawl web html address:<input type="text" name="url" >
<input type="submit" value="crawl">
</form>
<?php
date_default_timezone_set('PRC');
function dump($var){
	echo "<pre>";
	var_dump($var);
	echo "<pre>";
	exit(date("Y-m-d H:i:s",time()));
}
//catetory html resource into local project file.
class spider{
		public $url;
		public $http;
		public $host;
		public $html;
		public $path;
		public $title;

	function __construct($url,$imagesPath=''){
		set_time_limit(60);
		//dump($url);
		//$url="http://www.hose.com";
		preg_match('#(https?)\s?:\s?//([\w\.-]+)/?#', $url,$matches);
		$this->http=$matches[1];
		$this->host=$matches[2];
		//dump($this->http.$this->host);
		if ($url) {
			$ch=curl_init($url);
		    //curl_setopt($ch,CURLOPT_URL, $url);
		    curl_setopt($ch, CURLOPT_HEADER, 0);
		    curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
		    curl_setopt($ch, CURLOPT_TIMEOUT, 5);
		    $res=curl_exec($ch);
		    curl_close($ch);
		    $this->html=$res;
		    $this->url=$url;

		    /*if(preg_match('#<title>(.*?)</title>#', $res,$matches)){
		    	$this->title=substr($matches[1],0,9);
		    }*/
		    $this->title=$this->host;
		    if($res){
		    	$this->path=dirname(__FILE__).'/'.$this->title;
		    	if(!file_exists($this->path)){
		    		mkdir($this->path);
		    		chmod($this->path,0777);
		    	}


		    	if(!file_exists($this->path.'/style')){
		    		mkdir($this->path.'/style');
		    		chmod($this->path.'/style/',0777);
		    	}

		    	
		    
			}else{
				exit('could not load html webpage.');
			}
		}else{
			exit("Please input url!");
		}
	}

	function get_resource($url_array){
		foreach ($url_array as $key => $url) {
			$ch=curl_init();
			curl_setopt($ch, CURLOPT_URL, $url);
			curl_setopt($ch, CURLOPT_HEADER, 0);
			curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
		    curl_setopt($ch, CURLOPT_TIMEOUT, 5);

			$res=curl_exec($ch);
			
			file_put_contents($this->path.'/'.basename($url), $res);
			chmod($this->path.'/'.basename($url), 0777);
			curl_close($ch);
		}
	}

	function get_image(){
		$matches=array();
		preg_match_all("/<img.*?src=['\"](.*?\/[\w-]+\.(gif|png|jpg)).*?['\"]/i",$this->html, $matches);	
		
		foreach ($matches[1] as $key => $url) {
			if(strpos($url, '/')===0){
				$url=$this->http."://".$this->host.$url;
			}elseif (strpos($url,'//')===false) {
				$url=$this->http."://".$this->host.'/'.$url;
			}
			$ch=curl_init();
			curl_setopt($ch, CURLOPT_URL, $url);
			curl_setopt($ch, CURLOPT_HEADER, 0);
			curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
			curl_setopt($ch, CURLOPT_TIMEOUT, 5);
			$res=curl_exec($ch);
			if(!file_exists($this->path.'/style/img')){
				mkdir($this->path.'/style/img');
				chmod($this->path.'/style/img',0777);
			}
			file_put_contents($this->path.'/style/img/'.basename($url), $res);
			chmod($this->path.'/style/img/'.basename($url), 0777);
			curl_close($ch);
		}
		echo "<br />get image over.";
	}

	function get_css(){
		$matches=array();
		//var_dump($this->html);
		preg_match_all("/<link.*?href=['\"](.*?\.css).*?>/i",$this->html, $matches);	
		//var_dump($matches);
		foreach ($matches[1] as $key => $url) {
			if(strpos($url, '/')===0){
				$url=$this->http."://".$this->host.$url;
			}elseif (strpos($url,'//')===false) {
				$url=$this->http."://".$this->host.'/'.$url;
			}
			//dump($url);
			$ch=curl_init();
			curl_setopt($ch, CURLOPT_URL, $url);
			curl_setopt($ch, CURLOPT_HEADER, 0);
			curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
		    curl_setopt($ch, CURLOPT_TIMEOUT, 5);
			
			$res=curl_exec($ch);
			if(!file_exists($this->path.'/style/css')){
				mkdir($this->path.'/style/css');
				chmod($this->path.'/style/css', 0777);
			}
			file_put_contents($this->path.'/style/css/'.basename($url), $res);
			chmod($this->path.'/style/css/'.basename($url),0777);
			curl_close($ch);
		}
		echo "<br />get css over.";
	}

	function get_js(){
		$matches=array();
		//.js文件后面带参数一般是为了不要让浏览器读缓存，过旧的js版本
		preg_match_all("/<script.*?src=['\"](.*?\.js).*?>/i",$this->html, $matches);	
		
		foreach ($matches[1] as $key => $url) {
			if(strpos($url, '/')===0){
				$url=$this->http."://".$this->host.$url;
			}elseif (strpos($url,'//')===false) {
				$url=$this->http."://".$this->host.'/'.$url;
			}
			$ch=curl_init();
			curl_setopt($ch, CURLOPT_URL, $url);
			curl_setopt($ch, CURLOPT_HEADER, 0);
			curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
			curl_setopt($ch, CURLOPT_TIMEOUT, 5);
			$res=curl_exec($ch);
			if(!file_exists($this->path.'/style/js')){
				mkdir($this->path.'/style/js');
				chmod($this->path.'/style/js',0777);
			}
			file_put_contents($this->path.'/style/js/'.basename($url), $res);
			chmod($this->path.'/style/js/'.basename($url), 0777);
			curl_close($ch);
		}
		echo "<br />get js over.";
	}

	function formate_html(){
		$res=$this->html;
		$url=$this->url;
		//process the source link
				$res=preg_replace("/<link.*?href=['\"].*?\/([\w-]+\.css).*?>/i", '<link href="./style/css/$1" rel="stylesheet" type="text/css" />', $res);
				$res=preg_replace("/<script.*?src=['\"].*?\/([\w-\.]+\.js).*?>/i", '<script type="text/javascript" src="./style/js/$1">', $res);
				$res=preg_replace_callback("/<img.*?src=['\"].*?\/([\w-]+\.(gif|png|jpg)).*?>/i",
						function ($res){
							return preg_replace("/src=['\"].*?\/([\w-]+\.(gif|png|jpg)).*?['\"]/i", "src='./style/img/".$res[1]."'", $res[0]);
						 	//dump($res);
						}
					 , $res);
		    	$file_name=preg_replace('/\.\w+$/', '', basename($url));
	   	    	file_put_contents($this->path.'/'.$file_name.'.html', $res);
	   	    	chmod($this->path.'/'.$file_name.'.html', 0777);
	}
}

function crawl($url){
	$spider=new spider($url);
	$spider->get_css();
	$spider->get_js();
	$spider->get_image();
	$spider->formate_html();
}

if (!empty($_GET['url'])) {
	crawl($_GET['url']);
}

?>
</body>
</html>


brain_ning
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
php file_get_contents函数轻松采集html数据
12-18
复制代码 代码如下:<?php //全国，判断条件是$REQUEST_URI是否含有html if (!strpos($_SERVER[“REQUEST_URI”],”.html”)) { $page=”http://qq.ip138.com/weather/”; $html = file_get_contents($page,’r’); $pattern=”/<B>全国主要城市、县当天和未来五天天气趋势预报在线查询<\/B>(.*?)<center xss=removed>/si”; //正则匹配之间的html preg_match($pattern,$html,$pg
php get html,PHP get_html_translation_table() 函数
weixin_35462155的博客
03-12 119
定义和用法:get_html_translation_table() 函数返回被 htmlentities() 和 htmlspecialchars() 函数使用的翻译表。语法:get_html_translation_table(function,quotestyle)参数描述function可选。规定返回哪个翻译表。默认是 HTML_SPECIALCHARS。可能的值：HTML_ENTITIE...
php file get html,PHP file_get_html is not working
weixin_32124135的博客
06-26 457
问题I have used simple_html_dom library but i can not get HTML content only for 1 URL but i am getting 503 error. Check my below code.$base = 'http://www.amazon.com/gp/offer-listing/B001F0M4K8/ref=dp_ol...
php 提取html片段,提取html标签的php代码示例
weixin_35539437的博客
04-02 240
提取html标签的php代码示例
爬虫一：get和post函数封装
qq_42959931的博客
08-13 329
from urllib import request,parse from urllib.error import HTTPError,URLError # get请求函数 def get(url,headers=None): return urlrequest(url,headers=headers) # post请求函数 def post(url,form,headers=None...
HtmlDom.rar_HTML dom_PHP HTMLdom
09-22
标题“HtmlDom.rar_HTML dom_PHP HTMLdom”指出这个压缩包文件包含与HTML DOM和PHP中处理DOM相关的资源。文件“HtmlDom.chm”很可能是一个帮助文件，提供了关于PHP HTML DOM操作的详细指南。 PHP HTML DOM的核心是`...
PHP实例开发源码-小爬虫php留言板.zip
11-22
在PHP中，我们可以使用cURL库或者file_get_contents函数来获取远程网页的内容。在这个实例中，爬虫可能被设计用来抓取特定网站的数据，如新闻、评论或者其他用户生成的内容。实现时，爬虫通常会解析HTML或XML文档，...
PHP实例开发源码—葵堆小说php爬虫程序.zip
11-23
【PHP实例开发源码—葵堆小说php爬虫程序.zip】是一个包含PHP源代码的压缩包，主要用于实现网络小说的爬取。这个程序的核心是利用PHP的网络爬虫技术，从特定的小说网站抓取数据，如章节标题、内容、作者信息等，从而...
PHP实例开发源码—Google网页搜索爬虫(php有后台免费版).zip
11-11
【标题】中的“PHP实例开发源码—Google网页搜索爬虫(php有后台免费版).zip”表明这是一个基于PHP编程语言实现的项目，其主要功能是构建一个能够爬取Google搜索引擎网页结果的爬虫程序。这个项目具有后端管理功能，...
csdn.rar_WEB开发_PHP_
08-11
9. `getMoney.php` - 名字暗示这可能与获取虚拟货币（如CSDN积分）有关，但具体功能需要查看源代码才能确定。 综上所述，这个压缩包提供了一个基于PHP的WEB应用实例，专注于CSDN账号的模拟注册。开发者可以通过研究...
file_get_contents函数简单实用以及在PHP文件中调用其他网页，API
weixin_30933531的博客
09-26 162
1.file_get_contents(path,include_path,context,start,max_length);path 必需。规定要读取的文件。include_path 可选。如果也想在 include_path 中搜寻文件的话，可以将该参数设为 "1"，不需要设置为 false。context 可选。规定文件句柄的环境。是一套可以修改流的行为的选项。若使用 null，则...
HtmlUnit+Jsoup简单爬虫获取网页数据
chenmoquan2964的博客
06-24 371
本案例可以获取宿迁论坛--关注宿迁etc下面帖子楼主发表的【标题、发表时间、网站名、发表人、内容（帖子正文）、访问链接】数据。 思想就是通过Java访问的链接，然后拿到html字符串，然后就是解析链接等需要的数据。 技术上使用了Jsoup+HtmlUnit: 采用htmlunit获...
php爬取网页数据（simple_html_dom）
weixin_45487630的博客
04-18 699
php解析html类库simple_html_dom(爬虫相关)
PHP爬虫编写
u011757243的博客
09-20 292
原文链接:PHP爬虫编写 - Tansoz 探索者 一、PHP 是什么东西？ PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地...
PHP获取HTML网页内容的多种方法（精）
热门推荐
xhhayward的博客
09-14 1万+
方法1: 用file_get_contents 以get方式获取内容 方法2：用file_get_contents函数,以post方式获取url 方法3: 用fopen打开url, 以get方式获取内容 方法4: 用fopen打开url, 以post方式获取内容 方法5：用fsockopen函数打开url，以get方式获取完整的数据，包括header和body 方法6：用fsockopen函数打开url，以POST方式获取完整的数据，包括header和body 方法7:使用curl库，使用cur
PHP神技：轻松获取网页HTML元素
nFUnEP4X的博客
03-08 457
本文将深度解析在网页开发过程中的特殊需求，即获取指定HTML元素进行深层加工或展现，并详细探讨如何运用PHP这一强大工具提供的多种解决方案。本文详细介绍了在PHP环境下获取网页HTML元素的两大神技：DOM解析与正则表达式匹配。1
php获取html所有内容,php获取html网页内容的多个方法
weixin_36091906的博客
03-18 538
例1，用file_get_contents 以get方式获取内容。$url='http://www.01xj.net/';$html = file_get_contents($url);//print_r($http_response_header);ec($html);printhr();printarr($http_response_header);printhr();?>例2，用fop...
php如何抓取html代码,使用php如何获取网页源码？
weixin_31951989的博客
05-31 1181
文章正文内容：一下是几种常用的获取网页源码的几种方式：1. file_get_contents2.curl3.fopen->fread->fclose注意：1.使用file_get_contents和fopen必须空间开启allow_url_fopen。方法：编辑php.ini，设置allow_url_fopen = On，allow_url_fopen关闭时fopen和file_ge...
get_html反爬虫
最新发布
06-26
`get_html`通常是一个用于抓取网页HTML内容的函数或方法，在Python的爬虫库如BeautifulSoup、requests等中常见。然而，针对反爬虫策略，`get_html`可能会遇到以下挑战： 1. **频率限制（Rate Limiting）**：网站...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值