DedeHttpDown下载类

最新推荐文章于 2022-02-17 16:13:11 发布
最新推荐文章于 2022-02-17 16:13:11 发布
阅读量211 收藏
点赞数
分类专栏： 二次开发 文章标签： FP Scheme HTML PHP Windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hudeyong926/article/details/99540300
版权

这个类的使用方法：
下载网页

<?php
$httpdown = new DedeHttpDown();
$httpdown->OpenUrl("http://www.dedecms.com");
echo $httpdown->GetHtml();

//如果保存为文件则用 $hd->SaveBin("dede.html");
$httpdown->Close();
?>

如果下载图片 并保存,可以用

<?php
$httpdown = new DedeHttpDown();
$httpdown->OpenUrl("http://prato.bokele.com/0/0/399/bGluMi5qcGc=.jpg");
echo $httpdown->SaveBin("test.jpg");
$httpdown->Close();
echo "<img src='test.jpg'>";
?>

 DedeHttpDown

<?php
@set_time_limit(0);

class DedeHttpDown
{
	var $m_url = '';
	var $m_urlpath = '';
	var $m_scheme = 'http';
	var $m_host = '';
	var $m_port = '80';
	var $m_user = '';
	var $m_pass = '';
	var $m_path = '/';
	var $m_query = '';
	var $m_fp = '';
	var $m_error = '';
	var $m_httphead = '';
	var $m_html = '';
	var $m_puthead = '';
	var $BaseUrlPath = '';
	var $HomeUrl = '';
	var $reTry = 0;
	var $JumpCount = 0;

	//初始化系统
	function PrivateInit($url)
	{
		if($url=='') {
			return ;
		}
		$urls = '';
		$urls = @parse_url($url);
		$this->m_url = $url;
		if(is_array($urls))
		{
			$this->m_host = $urls["host"];
			if(!empty($urls["scheme"]))
			{
				$this->m_scheme = $urls["scheme"];
			}
			if(!empty($urls["user"]))
			{
				$this->m_user = $urls["user"];
			}
			if(!empty($urls["pass"]))
			{
				$this->m_pass = $urls["pass"];
			}
			if(!empty($urls["port"]))
			{
				$this->m_port = $urls["port"];
			}
			if(!empty($urls["path"]))
			{
				$this->m_path = $urls["path"];
			}
			$this->m_urlpath = $this->m_path;
			if(!empty($urls["query"]))
			{
				$this->m_query = $urls["query"];
				$this->m_urlpath .= "?".$this->m_query;
			}
			$this->HomeUrl = $urls["host"];
			$this->BaseUrlPath = $this->HomeUrl.$urls["path"];
			$this->BaseUrlPath = preg_replace("/\/([^\/]*)\.(.*)$/","/",$this->BaseUrlPath);
			$this->BaseUrlPath = preg_replace("/\/$/","",$this->BaseUrlPath);
		}
	}

	function ResetAny()
	{
		//重设各参数
		$this->m_url = "";
		$this->m_urlpath = "";
		$this->m_scheme = "http";
		$this->m_host = "";
		$this->m_port = "80";
		$this->m_user = "";
		$this->m_pass = "";
		$this->m_path = "/";
		$this->m_query = "";
		$this->m_error = "";
	}

	//打开指定网址
	function OpenUrl($url,$requestType="GET")
	{
		$this->ResetAny();
		$this->JumpCount = 0;
		$this->m_httphead = Array() ;
		$this->m_html = '';
		$this->reTry = 0;
		$this->Close();

		//初始化系统
		$this->PrivateInit($url);
		$this->PrivateStartSession($requestType);
	}

	//转到303重定向网址
	function JumpOpenUrl($url)
	{
		$this->ResetAny();
		$this->JumpCount++;
		$this->m_httphead = Array() ;
		$this->m_html = "";
		$this->Close();

		//初始化系统
		$this->PrivateInit($url);
		$this->PrivateStartSession('GET');
	}

	//获得某操作错误的原因
	function printError()
	{
		echo "错误信息：".$this->m_error;
		echo "<br/>具体返回头：<br/>";
		foreach($this->m_httphead as $k=>$v){ echo "$k => $v <br/>\r\n"; }
	}

	//判别用Get方法发送的头的应答结果是否正确
	function IsGetOK()
	{
		if( ereg("^2",$this->GetHead("http-state")) )
		{
			return true;
		}
		else
		{
			$this->m_error .= $this->GetHead("http-state")." - ".$this->GetHead("http-describe")."<br/>";
			return false;
		}
	}

	//看看返回的网页是否是text类型
	function IsText()
	{
		if( ereg("^2",$this->GetHead("http-state")) && eregi("text|xml",$this->GetHead("content-type")) )
		{
			return true;
		}
		else
		{
			$this->m_error .= "内容为非文本类型或网址重定向<br/>";
			return false;
		}
	}

	//判断返回的网页是否是特定的类型
	function IsContentType($ctype)
	{
		if(ereg("^2",$this->GetHead("http-state"))
		&& $this->GetHead("content-type")==strtolower($ctype))
		{	return true; }
		else
		{
			$this->m_error .= "类型不对 ".$this->GetHead("content-type")."<br/>";
			return false;
		}
	}

	//用Http协议下载文件
	function SaveToBin($savefilename)
	{
		if(!$this->IsGetOK())
		{
			return false;
		}
		if(@feof($this->m_fp))
		{
			$this->m_error = "连接已经关闭！"; return false;
		}
		$fp = fopen($savefilename,"w");
		while(!feof($this->m_fp))
		{
			fwrite($fp,fread($this->m_fp,1024));
		}
		fclose($this->m_fp);
		fclose($fp);
		return true;
	}

	//保存网页内容为Text文件
	function SaveToText($savefilename)
	{
		if($this->IsText())
		{
			$this->SaveBinFile($savefilename);
		}
		else
		{
			return "";
		}
	}

	//用Http协议获得一个网页的内容
	function GetHtml()
	{
		if(!$this->IsText())
		{
			return '';
		}
		if($this->m_html!='')
		{
			return $this->m_html;
		}
		if(!$this->m_fp||@feof($this->m_fp))
		{
			return '';
		}
		while(!feof($this->m_fp))
		{
			$this->m_html .= fgets($this->m_fp,256);
		}
		@fclose($this->m_fp);
		return $this->m_html;
	}

	//开始HTTP会话
	function PrivateStartSession($requestType="GET")
	{
		if(!$this->PrivateOpenHost())
		{
			$this->m_error .= "打开远程主机出错!";
			return false;
		}
		$this->reTry++;
		if($this->GetHead("http-edition")=="HTTP/1.1")
		{
			$httpv = "HTTP/1.1";
		}
		else
		{
			$httpv = "HTTP/1.0";
		}
		$ps = explode('?',$this->m_urlpath);

		$headString = '';

		//发送固定的起始请求头GET、Host信息
		if($requestType=="GET")
		{
			$headString .= "GET ".$this->m_urlpath." $httpv\r\n";
		}
		else
		{
			$headString .= "POST ".$ps[0]." $httpv\r\n";
		}
		$this->m_puthead["Host"] = $this->m_host;

		//发送用户自定义的请求头
		if(!isset($this->m_puthead["Accept"]))
		{
			$this->m_puthead["Accept"] = "*/*";
		}
		if(!isset($this->m_puthead["User-Agent"]))
		{
			$this->m_puthead["User-Agent"] = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2)";
		}
		if(!isset($this->m_puthead["Refer"]))
		{
			$this->m_puthead["Refer"] = "http://".$this->m_puthead["Host"];
		}

		foreach($this->m_puthead as $k=>$v)
		{
			$k = trim($k);
			$v = trim($v);
			if($k!=""&&$v!="")
			{
				$headString .= "$k: $v\r\n";
			}
		}
		fputs($this->m_fp, $headString);
		if($requestType=="POST")
		{
			$postdata = "";
			if(count($ps)>1)
			{
				for($i=1;$i<count($ps);$i++)
				{
					$postdata .= $ps[$i];
				}
			}
			else
			{
				$postdata = "OK";
			}
			$plen = strlen($postdata);
			fputs($this->m_fp,"Content-Type: application/x-www-form-urlencoded\r\n");
			fputs($this->m_fp,"Content-Length: $plen\r\n");
		}

		//发送固定的结束请求头
		//HTTP1.1协议必须指定文档结束后关闭链接,否则读取文档时无法使用feof判断结束
		if($httpv=="HTTP/1.1")
		{
			fputs($this->m_fp,"Connection: Close\r\n\r\n");
		}
		else
		{
			fputs($this->m_fp,"\r\n");
		}
		if($requestType=="POST")
		{
			fputs($this->m_fp,$postdata);
		}

		//获取应答头状态信息
		$httpstas = explode(" ",fgets($this->m_fp,256));
		$this->m_httphead["http-edition"] = trim($httpstas[0]);
		$this->m_httphead["http-state"] = trim($httpstas[1]);
		$this->m_httphead["http-describe"] = "";
		for($i=2;$i<count($httpstas);$i++)
		{
			$this->m_httphead["http-describe"] .= " ".trim($httpstas[$i]);
		}

		//获取详细应答头
		while(!feof($this->m_fp))
		{
			$line = trim(fgets($this->m_fp,256));
			if($line == "")
			{
				break;
			}
			$hkey = "";
			$hvalue = "";
			$v = 0;
			for($i=0;$i<strlen($line);$i++)
			{
				if($v==1)
				{
					$hvalue .= $line[$i];
				}
				if($line[$i]==":")
				{
					$v = 1;
				}
				if($v==0)
				{
					$hkey .= $line[$i];
				}
			}
			$hkey = trim($hkey);
			if($hkey!="")
			{
				$this->m_httphead[strtolower($hkey)] = trim($hvalue);
			}
		}

		//如果连接被不正常关闭，重试
		if(feof($this->m_fp))
		{
			if($this->reTry > 10)
			{
				return false;
			}
			$this->PrivateStartSession($requestType);
		}

		//判断是否是3xx开头的应答
		if(ereg("^3",$this->m_httphead["http-state"]))
		{
			if($this->JumpCount > 3)
			{
				return;
			}
			if(isset($this->m_httphead["location"]))
			{
				$newurl = $this->m_httphead["location"];
				if(eregi("^http",$newurl))
				{
					$this->JumpOpenUrl($newurl);
				}
				else
				{
					$newurl = $this->FillUrl($newurl);
					$this->JumpOpenUrl($newurl);
				}
			}
			else
			{
				$this->m_error = "无法识别的答复！";
			}
		}
	}

	//获得一个Http头的值
	function GetHead($headname)
	{
		$headname = strtolower($headname);
		return isset($this->m_httphead[$headname]) ? $this->m_httphead[$headname] : '';
	}

	//设置Http头的值
	function SetHead($skey,$svalue)
	{
		$this->m_puthead[$skey] = $svalue;
	}

	//打开连接
	function PrivateOpenHost()
	{
		if($this->m_host=="")
		{
			return false;
		}
		$errno = "";
		$errstr = "";
		$this->m_fp = @fsockopen($this->m_host, $this->m_port, $errno, $errstr,10);
		if(!$this->m_fp)
		{
			$this->m_error = $errstr;
			return false;
		}
		else
		{
			return true;
		}
	}

	//关闭连接
	function Close()
	{
		@fclose($this->m_fp);
	}

	//补全相对网址
	function FillUrl($surl)
	{
		$i = 0;
		$dstr = "";
		$pstr = "";
		$okurl = "";
		$pathStep = 0;
		$surl = trim($surl);
		if($surl=="")
		{
			return "";
		}
		$pos = strpos($surl,"#");
		if($pos>0)
		{
			$surl = substr($surl,0,$pos);
		}
		if($surl[0]=="/")
		{
			$okurl = "http://".$this->HomeUrl.$surl;
		}
		else if($surl[0]==".")
		{
			if(strlen($surl)<=1)
			{
				return "";
			}
			else if($surl[1]=="/")
			{
				$okurl = "http://".$this->BaseUrlPath."/".substr($surl,2,strlen($surl)-2);
			}
			else
			{
				$urls = explode("/",$surl);
				foreach($urls as $u)
				{
					if($u=="..")
					{
						$pathStep++;
					}
					else if($i<count($urls)-1)
					{
						$dstr .= $urls[$i]."/";
					}
					else
					{
						$dstr .= $urls[$i];
					}
					$i++;
				}
				$urls = explode("/",$this->BaseUrlPath);
				if(count($urls) <= $pathStep)
				{
					return "";
				}
				else
				{
					$pstr = "http://";
					for($i=0;$i<count($urls)-$pathStep;$i++)
					{
						$pstr .= $urls[$i]."/";
					}
					$okurl = $pstr.$dstr;
				}
			}
		}
		else
		{
			if(strlen($surl)<7)
			{
				$okurl = "http://".$this->BaseUrlPath."/".$surl;
			}
			else if(strtolower(substr($surl,0,7))=="http://")
			{
				$okurl = $surl;
			}
			else
			{
				$okurl = "http://".$this->BaseUrlPath."/".$surl;
			}
		}
		$okurl = eregi_replace("^(http://)","",$okurl);
		$okurl = eregi_replace("/{1,}","/",$okurl);
		return "http://".$okurl;
	}
}

?>
@航空母舰
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
httpdownfile
06-09
简单的网络下载文件程序。 WSADATA wdata; WSAStartup(MAKEWORD(2,2),&wdata); int sockfd; char buffer[1024]; struct sockaddr_in server_addr; struct hostent *host; int portnumber,nbytes; char host_addr[256]; char host_file[1024]; char local_file[256]; FILE * fp; char request[1024]; int isend, totalsend; int i; char * pt; memset(host_file,0,sizeof(host_file)); memcpy(host_file,"down/HB_EHSniffer36_ljh.rar",strlen("down/HB_EHSniffer36_ljh.rar")+1); if((host=gethostbyname("nmas.onlinedown.net"))==NULL)/*取得主机IP地址*/ { fprintf(stderr,"Gethostname error, %s＼n", strerror(errno)); exit(1); } /* 客户程式开始建立 sockfd描述符 */ if((sockfd=socket(AF_INET,SOCK_STREAM,0))==-1)/*建立SOCKET连接*/ { fprintf(stderr,"Socket Error:%s\a\n",strerror(errno)); exit(1); } /* 客户程式填充服务端的资料 */ memset(&server_addr,0,sizeof(server_addr)); server_addr.sin_family=AF_INET; server_addr.sin_port=htons(80); server_addr.sin_addr=*((struct in_addr *)host->h_addr); /* 客户程式发起连接请求 */ if(connect(sockfd,(struct sockaddr *)(&server_addr),sizeof(struct sockaddr))==-1)/*连接网站*/ { fprintf(stderr,"Connect Error:%s\a\n",strerror(errno)); exit(1); } memset(request,0,1024); sprintf(request,"GET /%s HTTP/1.1\r\nAccept: */*\r\nCache-Control: no-cache\r\nConnection: close\r\nHost: %s\r\nPragma: no-cache\r\nReferer: http://www.onlinedown.net/soft/15450.htm\r\nRange: bytes=0-\r\nUser-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; )\r\n\r\n" ,host_file,"nmas.onlinedown.net"); printf("%s", request);/*准备request，将要发送给主机*/
DedeHttpDown PHP远程下载网页的类，增强版 2013-1-17修改
____
01-17 2948
（1）新增远程主机判断，节约服务器资源。避免远程主机不存在的时候仍旧fsockopen，导致的死机占用服务器CPU （2）新增响应401的判断和支持。 （3）增加对json返回文本的支持。 （4）日志的生成，如果设置了DEBUG_LEVEL且为TRUE则会对每次远程下载做日志。 （5）获取字节的限定dataLimit，节约服务器资源。 （6）修改日期：2013-1-17 如
dedehttpdown.class.php 修改备份
____
12-19 3230
修改了两个地方 1）加了一个获取长度的限制 2）头部发送数据加了一些参数，以免被对方服务器认为是采集而直接拒绝！ 文件地址：D:\website\***.com\www\include\dedehttpdown.class.php <?php if(!defined('DEDEINC')) exit("Request Error!"); /** * 织梦HTTP下载类 * *
pub_httpdown.php,php实现文件下载
weixin_27808545的博客
03-20 309
近期搞了一个安卓的客户端，想把它挂到站点上提供下载，整理实现思路如下：(1).浏览器发送一个请求，请求访问服务器中的某个网页(如：down.php)(2).运行该文件的时候，必然要把将要被下载的文件读入内存当中,通过fopen()函数完成该动作(3).从内存当中读取文件，通过fread()函数完成该动作(4).把读到的内容输出到客户端需要注意的是，如果文件较大，文件应该是被分成多段返回给客户端的，...
发布一个用PHP fsockopen写的HTTP下载的类
10-31
这个文章描述的是一个使用PHP的fsockopen函数编写的HTTP下载类，名为DedeHttpDown。fsockopen是PHP中的一个函数，用于打开一个到网络服务器的套接字连接，这使得开发者可以直接处理HTTP请求，而不仅仅是获取内容。在...
爱不语CMS内容管理系统 2.6.3.1
04-30
一款基于PHP+MySQL开发符合W3C标准的建站系统，体积小巧，简介的标签语句，最重要的是本系统开源,无任何加密，为中国企业重新设计的人性化后台...修复得到total错误造成的前台列表翻页数目错误修改找不到DedeHttpDown类
爱不语CMS内容管理系统 v2.6.3.1.zip
07-06
修复得到total错误造成的前台列表翻页数目错误 修改找不到DedeHttpDown类   爱不语CMS内容管理系统是一款基于PHP MySQL开发符合W3C标准的建站系统,体积小巧, 简介的标签语句, 最重要的是本系统开源,无任何加密. ...
爱不语CMS内容管理系统 v2.6.3.1
05-15
爱不语CMS内容管理系统更新说明： 增加对搜索选项的注入检测 修改部分模板的显示问题 增加自定义表单显示整数...修复得到total错误造成的前台列表翻页数目错误 修改找不到DedeHttpDown类 爱不语CMS内容管理系统是
HttpDownFile
03-21
利用socket通过HTTP协议下载文件数据 组请求包.接收响应包 继续接收文件数据.. 保存文件.
android中的httpdown的工具类
学为心智
11-16 1091
package com.utils; import java.io.BufferedReader; import java.io.File; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.net.HttpURLConnection
调试http download 问题总结
weixin_45671544的博客
02-17 2696
http 下载
DEDE不能远程保存（下载）图片到本地的解决方法
ecshop数据采集发布接口，zencart，lightinthebox，shopex 采集，快客
11-19 1249
DEDE漏洞百出，在PHP.INI中禁用了fsockopen函数后，原来正常的远程存图功能无效了，而一个站点使用了DEDE v5 ,看了下升级似乎是件非常麻烦的事情，而自己又没有时间捣腾，所以希望在现目前的条件下解决DEDECMS无法远程存图的问题，今天终于搞定收工。 一,先从自己运行DEDECMS的配置环境入手：检查PHP.INI里面的充许载远程图片和资源的参数设置是否是ON，如果是O
HTTP状态查询，HTTP状态码含义，HTTP头部信息查询，http状态码表
秋̶᭄ꦿ攻城狮࿆ྂ
02-06 236
HTTP状态查询，HTTP状态码含义，HTTP头部信息查询，http状态码表 状态码表 状态码 状态码英文名称 中文描述 100 Continue 继续.客户端应继续其请求 101 Switching Protocols 切换协议。服务器根据客户端的请求切换协议。只能切换到更高级的协议，例如，切换到HTTP的新版本协议 200 OK 请求成功。一般用于GET与POST请求 201 Created 已创建。成功请求并创建了新的资源 202 Accepted 已接受。已经接受请求
CHttpDownload中http和https的区别
linjingtu的博客
09-27 1071
http和https的区别 http概念（超文本传输协议）被用于在Web浏览器和网站服务器之间，以明文方式传递信息，不提供任何方式的数据加密，因此使用HTTP协议传输隐私信息非常不安全。 https概念（安全套接字层超文本传输协议）在HTTP的基础上加入了SSL协议，SSL依靠SSL证书来验证服务器的身份，并为浏览器和服务器之间的通信加密。 CHttpDownload概念 一个C++的底层...
http下载文件（常用方式+支持在线打开方式）
热门推荐
LZJWXJ树袋熊
03-22 2万+
1、常见的方式： public HttpServletResponse download(String path, HttpServletResponse response) {     try {         // path:下载的文件的路径。         File file = new File(path);         // 取得文件名。         String file...
phpcms 多站点 绑定域名
hudeyong926的专栏
08-26 588
于运营和维护都能节省很多时间，否则要同时调试和维护不同系统会非常吃力，比如PC站,WAP站。 我在用PHPcms v9做了ONOW中文网(www.onow.cn)，打算尝试下站群功能，新站名称是“你猜你猜你猜猜猜”，域名 www.nicainicainicaicaicai.com ，域名很变态吧，是“你猜你猜你猜猜猜”的全拼。 首先在PHPCMS v9中建立新站点。 PHPCMS后台管理中心&gt;&gt;设置&gt;&gt;站点管理&gt;&gt;添加
magento model collection
hudeyong926的专栏
03-09 364
l4_Collection_Abstract { public function _construct() { parent::_construct(); $this-&gt;_init('ticket/log'); } public function getOrderTotalByState($state) { $this-&gt;getSelect() -&g
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值