PHP网页抓取

最新推荐文章于 2023-03-27 15:00:00 发布

DeepMinder

最新推荐文章于 2023-03-27 15:00:00 发布

阅读量3.1k

点赞数 1

分类专栏： PHP 文章标签： php 正则表达式 url extension file string

PHP 专栏收录该内容

0 篇文章 0 订阅

订阅专栏

用php抓取页面的内容在实际的开发当中是非常有用的，如作一个简单的内容采集器，提取网页中的部分内容等等，抓取到的内容在通过正则表达式做一下过滤就得到了你想要的内容，至于如何用正则表达式过滤，在这里就不做介绍了，有兴趣的同学可以参考本站的《正则表达式》板块：http://phpzixue.cn/articles11.shtml，以下就是几种常用的用php抓取网页中的内容的方法。
1.file_get_contents
PHP代码

<?php
$url = "http://www.phpzixue.cn";
$contents = file_get_contents($url);
//如果出现中文乱码使用下面代码
//$getcontent = iconv("gb2312", "utf-8",$contents);
echo $contents;
?>

2.curl
PHP代码

<?php
$url = "http://www.phpzixue.cn";
$ch = curl_init();
$timeout = 5;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
//在需要用户检测的网页里需要增加下面两行
//curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY);
//curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD);
$contents = curl_exec($ch);
curl_close($ch);
echo $contents;
?>

3.fopen->fread->fclose
PHP代码

<?php
$handle = fopen ("http://www.phpzixue.cn", "rb");
$contents = "";
do {
 $data = fread($handle, 1024);
 if (strlen($data) == 0) {
 break;
 }
 $contents .= $data;
} while(true);
fclose ($handle);
echo $contents;
?>

注：
1.使用file_get_contents和fopen必须空间开启allow_url_fopen。方法：编辑php.ini，设置 allow_url_fopen = On，allow_url_fopen关闭时fopen和file_get_contents都不能打开远程文件。
2.使用curl必须空间开启curl。方法：windows下修改php.ini，将extension=php_curl.dll前面的分号去掉，而且需要拷贝ssleay32.dll和libeay32.dll到C:/WINDOWS/system32下；Linux下要安装curl扩展。

another

前些日子跟别的公司合作了一个短信投票业务，对方需要把用户上行发送到我们平台，我这需要receive他的数据，然后他需要每发送一个数据我这边判断正确的话就输出一个内容让其抓取。之前只做过接收数据并处理，至于抓取没做过。在网上找了好多关于相关的文档。不过感觉都挺麻烦，最后就直接删除了很多功能代码，不过可以完成自己需要的功能了！
我说下我做的几个简单步骤：
 1.可以新建一个test页面，如test.php
<html>
<head>
 <title>PHP 网页抓取测试</title>
</head>
<body >
<?php echo 'Hello World!'; ?>
</body>
</html>

 2.新建抓取页面,如zhuaqu.php,代码如下：
<html>
<head>
<title>实用抓取网页内容测试 </title>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
</head>
<body >
<?php
$url = 'http://localhost/test.php'; //测试本地网页
#$url = 'http://www.myenjoylife.cn/index.php'; //抓取www.myenjoylife.cn首页内容
$lines_array = file($url);
$lines_string = implode('', $lines_array);
eregi("(.*)", $lines_string, $head);
echo $head[0];
?>
</body>
</html>
3. 完成，就这么简单，如果你想抓取别的网页内容，只要改$url参数变量值就OK啦！

DeepMinder

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
PHP网页抓取

 用php抓取页面的内容在实际的开发当中是非常有用的，如作一个简单的内容采集器，提取网页中的部分内容等等，抓取到的内容在通过正则表达式做一下过滤就得到了你想要的内容，至于如何用正则表达式过滤，在这里就不做介绍了，有兴趣的同学可以参考本站的《正则表达式》板块：http://phpzixue.cn/articles11.shtml，以下就是几种常用的用php抓取网页中的内容的方法。 1.file_get_contents PHP代码 <?php $url
复制链接

扫一扫