基于curl实现登录页面数据采集（百度搜藏版）

本文以百度搜藏为例，提供一种基于curl采集登录页数据的方法。

1. 获取cURL命令

   这个可以借助Firebug的控制台得到，如图（一）所示： 
   

   1. 解析cURL命令

   cURL具有一定的格式，我们这里需要得到两个数据：

（1）请求链接 
它可以基于正则"#curl '([^']*?)'#is"解析得到，唯一，使用preg_match匹配。

（2）请求头HTTPHEADER 
它可以基于正则"#-H '([^']*?)'#is"得到，一个或多个，基于preg_match_all匹配。 
3. 通过cURL采集数据

本demo基于php多线程采集实现，此时只需要给curl采集请求添加：

（1）压缩参数

CURLOPT_ENCODING="gzip"

（2）HTTP头参数

CURLOPT_HTTPHEADER=cURL解析头结果 
4. 程序核心源码（curlBaiduSoucang.php）

1. <?php
2. header("Content-type: text/html; charset=utf-8");
3. require_once 'CurlMulti.php';
4. require_once 'MyCurl.php';
5. /**
6. * 抓取百度搜藏数据
7. * @author Zjmainstay
8. * @website http://www.zjmainstay.cn
9. * @year 2014
10. * @usage
11. cli命令： php curlBaiduSoucang.php 1 20 //1~20页
12. 浏览器： http://localhost/curlmulti/curlBaiduSoucang.php?start=1&end=20
13. *
14. */
15. class curlBaiduSoucang extends MyCurl {
16. function __construct() {
17. parent::__construct();
19. $curlTextFile = dirname(__FILE__) . '/curlText.txt';
20. if(!file_exists($curlTextFile)) {
21. exit('curl 命令文件（./curlText.txt）不存在。');
22. }
23. $curlContent = trim(file_get_contents($curlTextFile));
25. if(!preg_match("#curl '([^']*?)'#is", $curlContent, $match)) {
26. exit('请确认curl命令是否正确，无法匹配链接地址。');
27. }
29. $this->soucangUrl = $match[1];
31. if(!preg_match_all("#-H '([^']*?)'#is", $curlContent, $matches)) {
32. echo('请确认curl命令是否正确，无法匹配HTTP HEADER信息，可能导致采集失败
33. ');
34. } else {
35. $httpHeader = $matches[1];
36. }
38. $this->curl->opt[CURLOPT_ENCODING] = 'gzip';
39. if(!empty($httpHeader)) {
40. $this->curl->opt[CURLOPT_HTTPHEADER] = $httpHeader;
41. }
42. }
44. //采集开始处理
45. function run() {
46. if(PHP_SAPI=='cli') {
47. global $argv;
48. $this->lineBreak = "\n";
49. } else {
50. $this->lineBreak = "<br />";
51. $argv[2] = (int)@$_GET['start'];
52. $argv[3] = (int)@$_GET['end'];
53. }
55. $startPage = max(1, (int)@$argv[2]);
56. $endPage = max(1, (int)@$argv[3]);
58. $process = array (
59. $this,
60. 'parse'
61. );
64. for($i = $startPage; $i <= $endPage; $i++) {
65. $this->curl->add ( array (
66. 'url' => preg_replace('#(?<=pn=)\d+#i', $i, $this->soucangUrl),
67. 'args' => array (
68. //args
69. 'page' => $i,
70. )
71. ), $process );
72. }
73. $this->curl->start();
74. }
76. function parse($res, $param) {
77. if (! $this->httpError ( $res ['info'] )) {
78. $filename = dirname(__FILE__) . "/soucang/soucang-{$param['page']}.txt";
79. file_put_contents($filename, trim(iconv('gbk', 'utf-8//IGNORE', $res['content'])));
80. }
81. echo "Page: {$param['page']} (ok)" . $this->lineBreak;
82. }
84. function cbCurlInfo($info) {
85. parent::cbCurlInfo($info);
86. echo $this->lineBreak;
87. }
88. }
90. ini_set('max_execution_time', 0);
91. ini_set('display_errors', 'on');
92. error_reporting(E_ALL);
93. $curlObj = new curlBaiduSoucang;
94. $curlObj->run();