PHP采集的实现，直接写成个类

最新推荐文章于 2021-03-22 10:17:14 发布
最新推荐文章于 2021-03-22 10:17:14 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： PHP

   很多朋友都想自己的cms有采集的功能，这样省时省力，今天就分享一个朋友写的采集类，我也没怎么看过，大家可以自己研究一下，如果不会，可以加QQ2387813033，一起讨论学习，或者加群252799167

   

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
<?php
/**
coder:qiuyunbest@163.com
*/
class GetProduct{
   public $url ;
                                                     
   function __construct( $url = '' ){
                                                     
     $this ->url = $url ;
                                                     
   }
   function curl_file_get_contents(){
     $ch = curl_init();
     curl_setopt( $ch , CURLOPT_URL, $this ->url);
     curl_setopt( $ch , CURLOPT_TIMEOUT, 60);
     curl_setopt( $ch , CURLOPT_USERAGENT, _USERAGENT_);
     curl_setopt( $ch , CURLOPT_REFERER,_REFERER_);
     curl_setopt( $ch , CURLOPT_RETURNTRANSFER, 1);
     $r = curl_exec( $ch );
     curl_close( $ch );
     return $r ;
                                                       
   }
                                                     
   function GetAll( $preg , $a = '' , $html = '' ){
                                                     
     if ( empty ( $html )){
                                                       
       $html = $this ->curl_file_get_contents();
                                                       
     }
                                                     
     preg_match_all( "^" . $preg . "^isU" , $this ->curl_file_get_contents(), $title );
                                                       
     if ( $a ===0 || ! empty ( $a )){
                                                       
       return $title [ $a ];
                                                       
     } else {
                                                       
       return $title ;
                                                       
     }
                                                     
   }
                                                     
                                                     
   function GetOne( $preg , $a = '' , $html = '' ){
                                                     
     if ( empty ( $html )){
                                                       
       $html = $this ->curl_file_get_contents();
                                                       
     }
                                                     
     preg_match( "^" . $preg . "^isU" , $html , $title );
                                                       
     if ( $a ===0 || ! empty ( $a )){
                                                       
       return $title [ $a ];
                                                       
     } else {
                                                       
       return $title ;
                                                       
     }
                                                     
   }
                                                     
   function str_r( $str ){
                                                     
     $str = str_replace ( "$" , "" , $str );
                                                       
     $str = str_replace ( "<br />" , "<br/>" , $str );
                                                       
     $str = strip_tags ( $str , "<br/>" );
                                                       
     $str = str_replace ( "\"" , "\\\"" , $str );
                                                       
     $str = str_replace ( "&euro;" , "" , $str );
                                                       
     $str = str_replace ( "amp;" , "" , $str );
                                                       
     $str = str_replace ( "\r\n" , "" , $str );
                                                       
     return $str ;
                                                     
   }
                                                    
                                                     
                                                     
   function Load( $id , $allnum ){
                                                     
     $load = round ( $id / $allnum *100,2). "%" ;
                                                       
     $loading = "正在采集请稍后......." . $id . "/" . $allnum . ".......<div style=\"width:600px;border:1px solid #ccc\"><div style=\"width:" . $load . ";text-align:center;height:14px;font-size:14px;background-color:#999\">" . $load . "</div></div>" ;
                                                       
     return $loading ;
                                                     
   }
                                                     
   function getimg( $purl , $filename ){
                                                     
         if ( $purl == "" )
         {
             return false;
         }
         $ext = strrchr ( $purl , "." );
         if ( $ext != ".gif" & $ext != ".bmp" & $ext != ".jpg" & $ext != ".png" & $ext != ".GIF" & $ext != ".BMP" & $ext != ".JPG" )
         {
             return false;
         }
         //$img=file_get_contents($purl) or die("í¼Æ¬′ò2»¿a");
                                                           
         if ( file_exists ( $filename ))
             return true;
         /*
         $ctx = stream_context_create(array(
                 'http' => array(
                 'timeout' => 160
                 )
                 )
             );        
         $img=file_get_contents($purl,0,$ctx);
         */
                                                           
         try {
         $ch = curl_init();
             $timeout = 11160;
             curl_setopt ( $ch , CURLOPT_URL, $purl );
             curl_setopt ( $ch , CURLOPT_RETURNTRANSFER, 1);
             curl_setopt ( $ch , CURLOPT_CONNECTTIMEOUT, $timeout );
             $img = curl_exec( $ch );
             curl_close( $ch );
         }
         catch (Exception $e )
         { return false;}
                                                               
         if ( $img == "" )
             return false;
                                                               
         $fp =@ fopen ( $filename , "a" );
         fwrite( $fp , $img );
         fclose( $fp );
         return true;
     }
                                                       
     function Jump( $id , $num ){
                                                       
     if ( $id < $num ){
                                                       
       $id ++;
                                                         
       $jump = "<script>location.href='?id=" . $id . "'</script>" ;
                                                         
       return $jump ;
                                                       
     } else {
                                                       
       return "采集完成!" ;
                                                       
     }
     }
                                                     
}


数据库类：


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
class Mysql{
   private $host ;
                                          
   private $user ;
                                          
   private $pwd ;
                                          
   function __construct( $host , $user , $pwd , $db , $un = "utf8" ){
                                          
     $this ->host = $host ;
                                            
     $this ->user = $user ;
                                            
     $this ->pwd = $pwd ;
                                            
     $this ->db = $db ;
                                            
     $this ->un = $un ;
                                            
     $this ->conn();
                                          
   }
                                          
   function conn(){
                                          
     $conn = mysql_connect( $this ->host, $this ->user, $this ->pwd) or die (( "ᬽó꧰ü" ).mysql_error());
                                            
     mysql_select_db( $this ->db, $conn ) or die ( "êy¾Y¿a2»′æÔú" .mysql_error());
                                            
     mysql_query( "set character set $this->un" );
                                            
     mysql_query( "set names $this->un" );
                                          
   }
                                          
   function select( $table , $where = "" , $num =false){
                                          
     $query = mysql_query( "select * from `$table` $where" );
                                            
     while ( $row = mysql_fetch_array( $query )){
                                            
       $arr [] = $row ;
                                            
     }
                                            
     if ( $num ){
                                            
       return $arr [0];
                                            
     } else {
                                            
       return $arr ;
                                            
     }
                                          
   }
                                          
   function num_rows( $table , $where = "" ){
                                          
     $query = mysql_query( "select * from `$table` $where" );
                                            
     $num = mysql_num_rows( $query );
                                            
     return $num ;
                                          
   }
                                          
   function insert( $table , $name = "" , $value ){
                                          
     mysql_query( "INSERT INTO `$table` ($name) VALUES ($value)" );
                                          
   }
                                          
   function update( $table , $fn , $where = "" ){
                                          
     mysql_query( "UPDATE $table SET $fn $where" );
                                          
   }
                                          
   function close(){
                                                
         return mysql_close();
                                            
     }
                                          
                                          
}
服务器达人
关注
专栏目录
PHP使用3种方法实现数据采集
倾城一笑stu
10-22 2万+
什么叫采集？ 就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。   PHP制作采集的技术： 从底层的socket到高层的文件操作函数，一共有3种方法可以实现采集。 1. 使用socket技术采集： socket采集是最底层的，它只是建立了一个长连接，然后我们要自己构造http协议字符串去发送请求。 例如要想获取这个页面的内容，http://tv.youku.c
php数据采集源码,PHP实现一个简单的数据采集
weixin_42501688的博客
03-09 1213
引言​ 说到数据采集大家首先都会想到python,代码简洁，高效，很容易就可以实现数据采集。​ 那PHP如何实现数据采集呢？非常简单。概念​ 那什么是数据采集呢？以下是百度百科的介绍：​ 数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。数据采集技术广泛应用在各个领域。你可以简单的理解为偷别人网站的数据。需...
采集利器——snoopy应用（介绍篇）
Linvo's blog
02-15 739
Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单。下载地址：http://sourceforge.net/projects/snoopy/Snoopy的一些特点:1、抓取网页的内容 fetch2、抓取网页的文本内容 (去除HTML标签) fetchtext3、抓取网页的链接，表单 fetchlinks fetchform4、支持代理主机5、支
snoopy（强大的PHP采集类） 详细介绍
笔记
05-03 1267
snoopy（强大的PHP采集类） 详细介绍 lanfengye | 2012-08-02 | PHP | 阅读(792) 4 Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单，可以用来开发一些采集程序和小偷程序，本文章详细介绍snoopy的使用教程。 Snoopy的一些特点: 抓取网页的内容 fetch 抓取网页的文本内容
可以让PHP编程事半功倍的类库
01-11 223
在用php开发网站的时候，使用面向对象的方法确实可以提高代码复用率，减少代码冗余。而对初学者更友好的是，PHP开发网站所需要的大部分类库，网上都有十分优秀的类库存在了。作为一个程序猿当然不能重复制造轮子，所以我把平时经常会使用到的类库整理下来，希望对学习PHP的站长朋友们有用。 一：采集类库，snoopy.class.php。 下载：（http://www.php100.com/htm
php采集数据代码,php 一个数据采集类实例代码
weixin_34481252的博客
03-10 332
数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。数据采集技术广泛应用在各个领域。比如摄像头，麦克风，都是数据采集工具。被采集数据是已被转换为电讯号的各种物理量，如温度、水位、风速、压力等，可以是模拟量，也可以是数字量。采集一般是采样方式，即隔一定时间(称采样周期)对同一点数据重复采集。采集的数据大多是瞬时值，也可是某段时间内的一个特征值。准确的数据测量是数据采...
CURL写的一个类，可用于数据采集并实现编码转换～！
01-11
而这里的"一个CURL写的类"则是将CURL的功能封装成一个面向对象的PHP类，方便开发者进行数据采集和编码转换操作。下面我们将详细讨论这个类的可能实现和相关知识点。 首先，`Once`方法代表单个网站信息采集。在数据...
PHP 文章中的远程图片采集到本地的代码
10-29
根据提供的文件内容，我们可以了解到如何使用PHP来实现远程图片采集到...通过上述步骤，可以实现一个在PHP文章中自动采集远程图片并保存到本地服务器的脚本。这个功能对于提高网站访问速度和用户体验是有很大帮助的。
php 采集邮箱,采集邮箱的php代码(抓取网页中的邮箱地址)
weixin_32459553的博客
03-10 1485
采集邮箱的php代码(抓取网页中的邮箱地址)复制代码 代码如下:$url='http://www.jb51.net'; //这个网页里绝对含有邮件地址。$content=file_get_contents($url);//echo $content;function getEmail($str) {//$pattern = "/([a-z0-9]*[-_\.]?[a-z0-9]+)*@([a-z0...
用php写一个采集抖音视频功能的代码
最新发布
09-07
5. 整合代码：将上述步骤封装成一个函数或者类，方便用户调用。用户可以在自己的PHP文件中引入这个功能代码，然后传入抖音分享链接，调用相应的函数即可完成采集功能。 需要注意的一点是，抖音平台可能会有反爬虫...
php采集类库 v1.0
05-14
php采集类库是一个基于PHP的服务端开源项目，它可以让PHP开发人员轻松处理DOM文档内容，比如获取某新闻网站的头条信息。更有意思的是，它采用了jQuery的思想，你可以像使用jQuery一样处理页面内容，获取你想要的页面信息。  
超级强大的php采集类库
08-05
NULL 博文链接：https://syuanq.iteye.com/blog/2057325
php数据采集
04-13
NULL 博文链接：https://yi5414289.iteye.com/blog/1714310
php爬虫采集类-phpQuery：支持抓取网站,非常强大的php类库.zip
07-11
phpQuery支持抓取网站,进行爬虫,非常强大,是一个基于PHP的服务端开源项目，它可以让PHP开发人员轻松处理DOM文档内容，比如获取某新闻网站的头条信息。更有意思的是，它采用了jQuery的思想，你可以像使用jQuery一样处理页面内容，获取你想要的页面信息。
采集类 php,PHP采集类
weixin_39622419的博客
03-20 97
PHP代码 URL ); return $pageContent; } /** * 根据标记得到列表段 * @param $content 页面源数据 * @return String 列表段内容 */ function getContentPiece ( $conte...
php数据采集类,一个数据采集类
weixin_28221501的博客
03-22 108
//兼容php4php5//程序作者张建52linux.com(我爱Linux)//联系方法733905@qq.comQQ733905//简单调用方法/*include("ugs.php");//你可以下载本ugs.phps然后重命名为ugs.php$ugs=newugs();$url="http://domainname.com/path_to_yo...
php数据采集类,一个数据采集类_PHP教程
weixin_39606361的博客
03-22 74
复制代码 代码如下:// 兼容 php4 php5// 程序作者 张建 52linux.com(我爱Linux)// 联系方法 733905@qq.com QQ 733905// 简单调用方法/*include ("ugs.php"); // 你可以下载本ugs.phps 然后重命名为ugs.php$ugs = new ugs();$url = "http://domainname.com/...
php采集类(转)
webnoties的专栏
12-09 981
一个自己写的php采集类，充分利用正则的强大字串处理能力，使用简单，功能也比较简单，能满足一般应用，功能也在不断完善中，使用过程：设置一个初始url，添加导航规则，添加采集字段和规则，保存输出即可 使用代码如下 $spider  = new spider();$spider->addStartUrl(‘http://www.onlinedown.net/hits/week_{2,3}.ht
php简单实现采集
Ysy3757的博客
03-14 1736
任务：获取本页所有商品的图片 第一步，我们需要一个目标页面。 $url = 'https://s.hc360.com/?w=%E6%B0%B4%E6%9D%AF&amp;mc=seller'; 随便找的一个网页。 第二、取它完整的一个标签框，代表它独立的一个个体。 发现属于它的个体是 &lt;li&gt;标签 此时发现很多不必要的各种标签内容，我们只留下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值