利用PHP获取一个页面上的链接信息

最新推荐文章于 2023-01-22 11:14:20 发布
最新推荐文章于 2023-01-22 11:14:20 发布
阅读量850 收藏
点赞数
文章标签： php javascript ViewUI
原文链接：https://yq.aliyun.com/articles/506142
版权

开发中我们可能会获取某个页面或是一段内容中的链接信息，下面我分享一个我写的函数给大家，希望能帮到大家。


函数功能：

1、获取一段内容中链接信息；

2、获取一个URL中链接信息；

3、剔除锚链等无效的链接

4、获取当前域下的链接信息

5、获取他域下的链接信息

6、保留链接的文本信息

代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
/**
  * +----------------------------------------------------------
  * 功能：获取一个网页或一段内容里面的链接信息
  * +----------------------------------------------------------
  * @param string $html    要获取链接的内容或网址
  * @param string $isExclude  是否过滤无效的链接，如"","#","javascript:;","javascript:void(0);" 。默认过滤
  * @param string $isKeepLinkText 是否保留链接的文字。默认保留，保留与不保留链接数可能不同
  * @param string $linkType    取得链接的类型，all所有的链接，inner 本域下的链接， out 外域的链接信息。默认 是取得所有链接
  * +----------------------------------------------------------
  * @return array
  * +----------------------------------------------------------
  */
function  getLinks( $html , $isExclude =true, $isKeepLinkText =true, $linkType = 'all' ){
     if ( empty ( $html ))  return  false;
     set_time_limit(0); //防止超时
     $removes = array ( '' , '#' , 'javascript:;' , 'javascript:void(0);' , 'javascript:void(0)' ); //排除锚链之类的
     $html  =  substr ( strtolower ( $html ),0,4)== "http" ? file_get_contents ( $html ): $html ; //要处理的内容
     //提取链接信息
     $pattern  =  '/<a(?:.*?)href="(((?:http(?:s?):\/\/)?([^\"\/]+))?(?:[^\"]*))"(?:[^>]*?)>([^<]*?)<\/a>/i' ;
     preg_match_all( $pattern ,  $html ,  $_links );
     if ( $isKeepLinkText ){
         foreach  ( $_links [1]  as  $key  =>  $href ) {
             $links [ $_links [4][ $key ]]= $href ;
         }
     } else {
         $links = $_links [4];
     }
     unset( $_links );
                     
     foreach  ( $links  as  $text  =>  $href ) {
         //移除无效的链接
         if ( $isExclude &&in_array( $href ,  $removes )) {          
             unset( $links [ $text ]);
         }
         if ( $linkType != 'all' ){
             $host = parse_url ( $href );
             $host =isset( $host [ 'host' ])? $host [ 'host' ]: '' ;
             if ( $linkType == 'inner' ){ //本域链接
                 if ( substr ( $href ,0,1)!= "/" && strtolower ( $host )!= strtolower ( $_SERVER [ 'SERVER_NAME' ])) {
                     unset( $links [ $text ]);
                 }
             } elseif ( $linkType == 'out' ){ //他域链接
                 if ( substr ( $href ,0,1)== "/" || strtolower ( $host )== strtolower ( $_SERVER [ 'SERVER_NAME' ])) {
                     unset( $links [ $text ]);
                 }
             }
         }
     }
     return  $links ;
}

使用方法：

1
2
3
4
5
6
7
$links =getLinks( "http://www.sina.com.cn" );
                
//或
  $links =getLinks( "http://www.sina.com.cn" ,1,0, "out" );
                
  //或
  $links =getLinks( "这里是一段要提取链接信息的内容" );

特别说明：

1、上面的函数用到了file_get_contents ，获取内容可能会失败，你可以自行改成curl；

2、提取链接用了正则，效率可能低。


当然你也看一看使用下面的函数，当要提取的内容网址的时候不使用正则来提取链接信息：

代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
/**
  * +----------------------------------------------------------
  * 功能：获取一个网页或一段内容里面的链接信息
  * +----------------------------------------------------------
  * @param string $html    要获取链接的内容或网址
  * @param string $isExclude  是否过滤无效的链接，如"","#","javascript:;","javascript:void(0);" 。默认过滤
  * @param string $isKeepLinkText 是否保留链接的文字。默认保留，保留与不保留链接数可能不同
  * @param string $linkType    取得链接的类型，all所有的链接，inner 本域下的链接， out 外域的链接信息。默认 是取得所有链接
  * +----------------------------------------------------------
  * @return array
  * +----------------------------------------------------------
  */
function  getLinks( $html , $isExclude =true, $isKeepLinkText =true, $linkType = 'all' ){
     if ( empty ( $html ))  return  false;
     set_time_limit(0);
     $removes = array ( '' , '#' , 'javascript:;' , 'javascript:void(0);' , 'javascript:void(0)' ); //排除锚链之类的
     $isLink = substr ( strtolower ( $html ),0,4)== "http" ?1:0; //是否是链接
     $html  =  $isLink ? file_get_contents ( $html ): $html ;
     if ( $isLink ){
         $dom  =  new  DOMDocument();
         @ $dom ->loadHTML( $html );
         $xpath  =  new  DOMXPath( $dom );
         unset( $dom );
         $hrefs  =  $xpath ->evaluate( "/html/body//a" );//获取a节点
         $length = $hrefs ->length; //获取链接数
         $links = array (); //网页上的链接
         for  ( $i  = 0;  $i  <  $length ;  $i ++) {
             $href  = trim( $hrefs ->item( $i )->getAttribute( 'href' ));
             $text =trim( $hrefs ->item( $i )->textContent);
             $links [ $text ]= $href ;
         }
     } else {
         $pattern  =  '/<a(?:.*?)href="(((?:http(?:s?):\/\/)?([^\"\/]+))?(?:[^\"]*))"(?:[^>]*?)>([^<]*?)<\/a>/i' ;
         preg_match_all( $pattern ,  $html ,  $_links );
         if ( $isKeepLinkText ){
             foreach  ( $_links [2]  as  $key  =>  $href ) {
                 $links [ $_links [4][ $key ]]= $href ;
             }
         } else {
             $links = $_links [4];
         }
         unset( $_links );
     }
     foreach  ( $links  as  $text  =>  $href ) {
         //移除无效的链接
         if ( $isExclude &&in_array( $href ,  $removes )) {
             unset( $links [ $text ]);
         }
         if ( $linkType != 'all' ){
             $host = parse_url ( $href );
             $host =isset( $host [ 'host' ])? $host [ 'host' ]: '' ;
             if ( $linkType == 'inner' ){ //本域链接
                 if ( substr ( $href ,0,1)!= "/" && strtolower ( $host )!= strtolower ( $_SERVER [ 'SERVER_NAME' ])) {
                     unset( $links [ $text ]);
                 }
             } elseif ( $linkType == 'out' ){ //他域链接
                 if ( substr ( $href ,0,1)== "/" || strtolower ( $host )== strtolower ( $_SERVER [ 'SERVER_NAME' ])) {
                     unset( $links [ $text ]);
                 }
             }
         }
     }
     return  $links ;
}

使用方法与上面一致


本文转自 gutaotao1989 51CTO博客，原文链接:http://blog.51cto.com/taoyouth/1410393


weixin_33755554
关注
php应用curl扩展抓取网页类.zip
07-11
介绍一个php应用curl扩展抓取网页类，获取的信息以文件流的形式返回，而不是直接输出。正则方式抓取，抓取标题，抓取文章内容，获取抓取数据，最后进行一下测试。
利用PHP获取访客IP、地区位置、浏览器及来源页面等信息
10-19
这个值是由浏览器提供的，用于告诉服务器该访客是从哪个页面链接过来的。然而，并不是所有的浏览器都保证会提供这个值，而且在某些情况下，浏览器可能不发送'HTTP_REFERER'头部，或者提供的值可能不准确。...
php链接怎么看的,php - 当用户单击数据表中的“查看链接”时，在PHP页面中查看详细信息 - SO中文参考 - www.soinside.com...
weixin_29698317的博客
03-10 134
我有以下代码，它从数据库中获取并显示数据表。在每个用户旁边，我有“查看”链接，它显示详细信息页面。if ($role == 'Manager' && isset($_GET['click'])){if ($_GET['click'] == 'ViewRequests'){$sql="SELECT users.user_id, users.first_name, users.midd...
php 抓取页面所有链接,php curl采集页面内容并提取所有的链接
weixin_31412781的博客
03-11 585
提取链接是一个很简单的做法了，下面这个例子相对来讲是比较全面了，下面我们一起来看看这个php curl采集页面内容并提取所有的链接例子．本文承接上面两篇，本篇中的示例要调用到前两篇中的函数，做一个简单的URL采集。一般php采集网络数据会用file_get_contents、file和cURL。不过据说cURL会比file_get_contents、file更快更专业，更适合采集。今天就试试用cU...
php 网址补全,根据当前页面url进行地址补全（采集用）
weixin_39957271的博客
03-21 501
根据当前页面url进行地址补全(采集用)function formaturl($url, $str){if (is_array($str)) {$return = array();foreach ($str as $href) {$return[] = formaturl($url, $href);}return $return;} else {if (stripos($str, 'http://...
php url补全函数,PHP采集URL补全函数
weixin_42622428的博客
03-20 256
写采集必用的函数，URL补全函数，也可叫做FormatUrl。写此函数作用就是为了开发采集程序，采集文章的时候会经常遇到页面里的路径是 “相对路径” 或者 “绝对根路径” 不是“绝对全路径”就无法收集URL。所以，就需要本功能函数进行对代码进行格式化，把所有的超链接都格式化一遍，这样就可以直接收集到正确的URL了。路径知识普及相对路径：“../” “./” 或者前面什么都不加绝对根路径：/path...
PHP获取当前页面URL函数实例
10-25
### 使用 $_SERVER 全局数组获取页面相关信息 文章还补充说明了`$_SERVER`全局数组中几个常用元素的用途： - `$_SERVER['HTTP_HOST']`：返回服务器的主机名和端口号（如果设置了非默认端口）。 - `$_SERVER['...
PHP获取当前页面完整URL的方法
09-01
首先，我们可以利用PHP的内置全局数组`$_SERVER`来获取这些信息。`$_SERVER`数组包含了关于HTTP请求的各种信息，包括服务器和请求的相关变量。 1. 获取域名或主机地址： 使用`$_SERVER['HTTP_HOST']`可以得到当前...
PHP中使用CURL获取页面title例子
10-24
本文将介绍如何利用PHP中的CURL功能，获取一个网页中的标签内容。除了使用CURL外，还将用到正则表达式（regex）来解析和提取所需数据。 首先，我们要了解CURL在PHP中的基本用法。CURL可以用来做很多事情，比如发送...
PHP抓取网络数据的6种常见方法
最新发布
主题模板站的博客
01-22 2457
本小节的名称为 fsockopen，curl与file_get_contents，具体是探讨这三种方式进行网络数据输入输出的一些汇总。这里就大概列举这么 6 种抓取网络数据的方式，也是比较常见的，让大家先有个总体的理解，还有各方法的比较。4. 用 fsockopen 函数打开url，以get方式获取完整的数据，包括header和body。5. 用fsockopen函数打开url，以POST方式获取完整的数据，包括header和body。//获取url的html部分，去掉header。
PHP中获取当前页面的URL信息详解
智库新闻文章内容管理系统博客
06-14 1250
&lt;? //获取当前的域名: echo $_SERVER['SERVER_NAME']; //获取来源网址,即点击来到本页的上页网址 echo $_SERVER["HTTP_REFERER"]; $_SERVER['REQUEST_URI'];//获取当前域名的后缀 $_SERVER['HTTP_HOST'];//获取当前域名 dirname(__FILE__);/...
php获取页面文字内容,利用PHP获取一个页面上的链接信息
weixin_32450633的博客
03-10 534
开发中我们可能会获取某个页面或是一段内容中的链接信息，下面我分享一个我写的函数给大家，希望能帮到大家。函数功能：1、获取一段内容中链接信息；2、获取一个URL中链接信息；3、剔除锚链等无效的链接4、获取当前域下的链接信息5、获取他域下的链接信息6、保留链接的文本信息代码：/*** +----------------------------------------------------------...
php获取链接中的扩展名
U.R.M.L
09-05 1328
假设链接：http://www.xxx.com/testweb/history.order.php?abcd=111@qqq=222 如何获取被执行文件my.order.php的后缀（php），列举了2个方法仅供参考： 首先通过parse_url获取链接信息： <?php $link="http://www.xxx.com/testweb/history.order.php?abcd...
php中获取上一页的url地址
Just Code
09-24 1757
比较有用的   &lt;?php $urlshang = $_SERVER['HTTP_REFERER']; //可以得到上一页的地址 $urldan = $_SERVER['PHP_SELF']; //得到当前页面地址 $urlcan = $_SERVER["HTTP_HOST"].$_SERVER["PHP_SELF"]."?".$_SERVER["QUERY_STRIN...
php获取上一页url
Touatou的博客
05-10 1042
1.test1.php中  第二页 2.test2.php中  print_r($_SERVER);可以直接获取所有http的参数$urlshang = $_SERVER['HTTP_REFERER']; //可以得到上一页的地址  运行结果为
php获取当前页面链接_php怎么获取当前完整url地址
weixin_36090220的博客
03-09 5216
对于PHP学习者来说，应该都知道$_SERVER 是一个包含了诸如头信息(header)、路径(path)、以及脚本位置(script locations)等等信息的数组。显然PHP获取当前页面的完整url地址，主要就用到$_SERVER这个系统变量。下面我们就通过具体的示例给大家介绍PHP获取完整url的实现方法。首先我们直接打印一下$_SERVER，代码示例如下：...
PHP抓取网页上的所有链接
Abel_JiaWei的博客
03-15 1177
$html = file_get_contents('http://www.php.cn'); $dom = new DOMDocument(); @$dom-&gt;loadHTML($html); // grab all the on the page $xpath = new DOMXPath($dom); ...
PHP实现SEO信息获取类：网站分析工具
3. **获取导入链接**：SEO类可以利用Alexa API获取网站的导入链接数量，这反映了网站的外部链接质量，是搜索引擎排名的重要因素之一。 4. **谷歌索引的网页数量**：通过谷歌的API或者爬虫技术，可以获取谷歌搜索...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值