php抓取网指定内容,php获取网页内容方法总结

最新推荐文章于 2021-07-05 16:44:15 发布

冰川思想库

最新推荐文章于 2021-07-05 16:44:15 发布

阅读量426

点赞数

文章标签： php抓取网指定内容

本文介绍了如何使用PHP来抓取网页内容，包括file_get_contents、cURL和fopen-fread-fclose三种方法。这些方法可以帮助开发者从远程网站获取数据，但需要注意allow_url_fopen和curl扩展的开启。

摘要由CSDN通过智能技术生成

抓取到的内容在通过正则表达式做一下过滤就得到了你想要的内容，至于如何用正则表达式过滤，在这里就不做介绍了，有兴趣的，以下就是几种常用的用php抓取网页中的内容的方法。

1.file_get_contents

PHP代码

复制代码代码如下:

$url="http://www.jb51.net";

$contents=file_get_contents($url);

//如果出现中文乱码使用下面代码

//$getcontent=iconv("gb2312","utf-8",$contents);

echo$contents;

2.curl

PHP代码

复制代码代码如下:

$url="http://www.jb51.net";

$ch=curl_init();

$timeout=5;

curl_setopt($ch,CURLOPT_URL,$url);

curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);

curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,$timeout);

//在需要用户检测的网页里需要增加下面两行

//curl_setopt($ch,CURLOPT_HTTPAUTH,CURLAUTH_ANY);

//curl_setopt($ch,CURLOPT_USERPWD,US_NAME.":".US_PWD);

$contents=curl_exec($ch);

curl_close($ch);

echo$contents;

3.fopen->fread->fclose

PHP代码

复制代码代码如下:

$handle=fopen("http://www.jb51.net","rb");

$contents="";

do{

$data=fread($handle,1024);

if(strlen($data)==0){

break;

}

$contents.=$data;

}while(true);

fclose($handle);

echo$contents;

注：

1.使用file_get_contents和fopen必须空间开启allow_url_fopen。方法：编辑php.ini，设置allow_url_fopen=On，allow_url_fopen关闭时fopen和file_get_contents都不能打开远程文件。

2.使用curl必须空间开启curl。方法：windows下修改php.ini，将extension=php_curl.dll前面的分号去掉，而且需要拷贝ssleay32.dll和libeay32.dll到C:WINDOWSsystem32下；Linux下要安装curl扩展。

您可能感兴趣的文章:thinkphp3.x中变量的获取和过滤方法详解php完全过滤HTML,JS,CSS等标签php过滤HTML标签、属性等正则表达式汇总php安全过滤函数代码PHP对表单提交特殊字符的过滤和处理方法汇总过滤掉PHP数组中的重复值的实现代码PHP屏蔽过滤指定关键字的方法php获取数组长度的方法(有实例)php自动获取字符串编码函数mb_detect_encodingphp获取post中的json数据的实现方法php如何获取数组第一个值php通过两层过滤获取留言内容的方法