php curl 命令行,curl 命令行教程

本文转载自CURL教程：http://llohellohe.github.com/Linux/curl-in-action.html

能学到什么？

本文将教你基本的curl方法，你能学到用curl完成如下事情

1. 抓取一个网页

伪造User-agent,refer

get\post提交一个表单 4. 上传文件

处理cookie 6. 处理重定向

处理header

用curl查有道字典

注：在这里可以下载到演示的PHP代码。

从打开百度开始

curl "http://www.baidu.com"

你就会看到百度的页面源代码输出。

在URL前后带上双引号总是个好习惯。避免当url中有&等符号时候的错乱。

curl 保存页面:

curl "http://www.baidu.com" > /tmp/baidu.html

你会看到一条进度条，然后源码就被重定向到了/tmp/baidu.html。

可以在浏览器中输入file:///tmp/baidu.html看到一张完整的百度首页。

当然下载页面用-o参数看上去更加高级一点。

curl -o /tmp/baidu2.html "http://www.baidu.com"

如果URL中具有文件名，那么使用 -O 参数也会更方便些，它将直接用url中的文件名称来保存页面。

curl 安静点

-s参数可以屏蔽进度条之类的输出，稍微清净点。

curl -s -o /tmp/baidu3.html "http://www.baidu.com"

curl 指定USER-AGENT

-A参数用来指定USER-AGENT，来看一段PHP代码。

$LINE_END="\n";

foreach ($_SERVER as $key => $value) {

echo "$key => $value $LINE_END";

}

?>

用来打印一些基本信息。默认情况下。

可以看到下图：

默认CURL的User-agent为：

curl/7.24.0 (x86_64-apple-darwin12.0) libcurl/7.24.0 OpenSSL/0.9.8r zlib/1.2.5

修改User-agent

curl -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.52 Safari/537.17" http://localhost/learing-curl/show-server-info.php

curl 指定referer

curl -e "https://www.google.com/" http://localhost/learing-curl/show-server-info.php

curl Get 请求

先看下面的PHP代码，用于展示GET和POST的表单参数：

foreach ($_GET as $key => $value) {

echo "param $key : $value\n";

}

echo "=======POST INFO=======\n";

foreach ($_POST as $key => $value) {

echo "param $key : $value\n";

}

?>

curl "http://localhost/learing-curl/post-get.php?name=a&age=13"

可以看到下面的输出：

curl Post请求

curl -d "name=1&age=3" http://localhost/learing-curl/post-get.php

可以看到下面的输出：

-d参数指定表单以POST的形式执行。

-G强制指定表单以GET方法提交。

只展示Header

curl -I http://www.baidu.com

可以看到下面的输出：

curl 保存Header

curl -D header.txt http://www.alibaba.com

curl 处理重定向

http://localhost/learing-curl/302.php是张会302重定向到百度的页面。

源代码如下：

$url="http://www.baidu.com";

header("Location: $url");

?>

curl "http://localhost/learing-curl/302.php"

发现什么都没有输出。

我们来看下返回的header。

curl -I "http://localhost/learing-curl/302.php"

虽然返回了302信息，但是

默认curl是不会处理重定向的，可以通过-L参数指定。

curl -L "http://localhost/learing-curl/301.php"

这样又能看到熟悉的百度页面输出了。

curl 提交文件

curl -F upload_file=@test.data http://localhost/learing-curl/upload.php

其中upload_file是表单中文件的input名称,test.data是文件路径

提交文件的时候，同时提交其它POST请求，

curl -F upload_file=@test.data -F "name=yangqi" http://localhost/learing-curl/upload.php

upload.php源代码：

$upload_file=$_FILES['upload_file']['tmp_name'];

$upload_file_name=$_FILES['upload_file']['name'];

move_uploaded_file($upload_file,"/tmp/$upload_file_name");

foreach ($_POST as $key => $value) {

echo "param $key : $value\n";

}

?>

curl 保存cookie

-c 将会用标准格式保存cookie

curl -c cookie.txt http://www.alibaba.com

查看cookie.txt会发现一堆cookie，接近1k

curl 带Cookie访问

curl -b “name=data” 或者让 curl -b COOKIE.txt 可以带cookie访问页面。

先来看下测试页面的php源码：

setcookie("age",201);

echo "COOKIE IS \n";

foreach ($_COOKIE as $key => $value) {

echo "$key => $value\n";

}

?>

先设置一个名为age的cookie，然后打印请求中的cookie。

我们请求下：

如果-b后面的参数没有出现=号，则会认为是文件名。

实例：

有道字典查询

通过-G -d 的形式提交一个get请求到有道字典，然后截取翻译信息。

curl -s -d "q=$KW&le=eng&keyfrom=dict.top" -G "http://dict.youdao.com/search" | grep -A 5 'class="trans-container"' | grep '

' | sed -e 's:[]::g'