curl远程获取和采集

最新推荐文章于 2024-05-15 06:16:36 发布

wendy_caijie

最新推荐文章于 2024-05-15 06:16:36 发布

阅读量966

点赞数

文章标签： curl 文件传输

curl传输与获取功能

什么是curl？
curl是一个利用URL语法在命令行方式下工作的文件传输工具。它支持很多协议：FTP,FTPS,HTTP,HTTPS,GOPHER,TELNET,DICT,FILE以及LDAP。
curl同样支持HTTPS认证，HTTP POST方法，HTTP PUT方法，FTP上传，HTTP上传，代理服务器，cookies，用户名/密码认证，下载文件断点续传等等。

PHP中常用都实现哪些功能：
1.实现远程获取和采集内容
2.实现PHP网页版的FTP上传下载
3.实现模拟登陆
4.实现接口对接(API)，数据传输等
5.实现模拟Cookie等

默认情况下PHP是不支持CURL功能的，需要在PHP.ini中开启该功能;extension=php_curl.dll

PHP CURL 和 file_get_content()对比
代码中使用file_get_content() 去获取URL内容有2点问题
1。使用file_get_content() 会很耗时因为他每次请求都会重新对DNS查询并不对DNS进行缓存，这样就导致每次请求很耗时经常服务器请求超时
2。如果请求的url带有header或者其他参数 file_get_content 就比较难去处理

参考网站： http://www.jb51.net/article/57238.htm

--------------------------------------------------------------------------------------------------------------------------------------------------

curl01.php:

<?php

//简单示例：使用curl获取远程网页数据

//功能类似file_get_content

$curl = curl_init(); //初始化curl对象
$request_url = 'http://192.168.11.113:8080/upload/upload4/curl.txt';
//$request_url = 'http://www.php100.com'; //设置需要抓取的URL
curl_setopt($curl,CURLOPT_URL,$request_url);
curl_setopt($curl,CURLOPT_RETURNTRANSFER,0);//设置curl参数，要求结果保存到字符串中还是输出到屏幕上
$reponse = curl_exec($curl);//运行curl,请求网页
curl_close($curl);//关闭URL请求

--------------------------------------------------------------------------------------------------------------------------------------------------

curl02.php：

<?php

//简单示例：使用curl的post传输数据

$user = 'admin';
$pass = '123456';
$curlPost = 'user='.$user.'&pass='.$pass;
$ch = curl_init();
$request_url = 'localhost:8080/upload/upload4/curl_post_param.php';
curl_setopt($ch,CURLOPT_URL,$request_url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,0);
curl_setopt($ch,CURLOPT_POST,1);
curl_setopt($ch,CURLOPT_POSTFIELDS,$curlPost);
$response = curl_exec($ch);
curl_close($ch);

curl_post_param.php

<?php

//响应curl02.php请求，并输出数据

if($_POST){
echo $_POST['user'].'-----'.$_POST['pass'].'<br/>';
}

--------------------------------------------------------------------------------------------------------------------------------------------------

curl03.php:

//示例：使用curl模拟登陆

//tempnam()函数创建一个具有唯一文件名的临时文件
//若成功，则该函数返回新的临时文件名。若失败，在返回false
//相当于fopen->fwrite->fclose

//使用curl程序登录与直接使用浏览器登录并不冲突，他们是相互独立

//登陆并生成临时文件
$login_url = 'http://bbs.php100.com/login.php';
$post_fields = 'cktime=3600&step=2&pwuser=蔡杰&pwpwd=1991abc123';
$cookie_file = tempnam('./temp','cookie');   //C:\Windows\temp\
$ch = curl_init($login_url);
$options = array(
       CURLOPT_HEADER=>0,
       CURLOPT_RETURNTRANSFER=>1,
       CURLOPT_POST=>1,
       CURLOPT_COOKIEJAR=>$cookie_file,
       CURLOPT_POSTFIELDS=>$post_fields,
);
curl_setopt_array($ch, $options);
$response = curl_exec($ch);
curl_close($ch);

//登陆后的页面
$url = 'http://bbs.php100.com/index.php';
$ch = curl_init($url);
$options = array(
       CURLOPT_HEADER=>0,
       CURLOPT_RETURNTRANSFER=>0,
       CURLOPT_COOKIEFILE=>$cookie_file,
);
curl_setopt_array($ch, $options);
$response = curl_exec($ch);
curl_close($ch);

//可以使用正则表达式采集返回的结果
//preg_match('/<li>金钱：(.*)</li>/',$response,$arr);echo $arr[1];