curl 命令使用及常用参数

Curl是Linux下一个很强大的http命令行工具，其功能十分强大。

1) 二话不说，先从这里开始吧！

$ curl http://www.linuxidc.com

回车之后，www.linuxidc.com 的html就稀里哗啦地显示在屏幕上了    ~

2) 嗯，要想把读过来页面存下来，是不是要这样呢？

$ curl http://www.linuxidc.com > page.html

当然可以，但不用这么麻烦的！

用curl的内置option就好，存下http的结果，用这个option: -o

$ curl -o page.html http://www.linuxidc.com

这样，你就可以看到屏幕上出现一个下载页面进度指示。等进展到100%，自然就 OK咯

3) 什么什么？！访问不到？肯定是你的proxy没有设定了。

使用curl的时候，用这个option可以指定http访问所使用的proxy服务器及其端口： -x

$ curl -x 123.45.67.89:1080 -o page.html http://www.linuxidc.com

4) 访问有些网站的时候比较讨厌，他使用cookie来记录session信息。

像IE/NN这样的浏览器，当然可以轻易处理cookie信息，但我们的curl呢？.....

我们来学习这个option: -D <— 这个是把http的response里面的cookie信息存到一个特别的文件中去

$ curl -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.linuxidc.com

这样，当页面被存到page.html的同时，cookie信息也被存到了cookie0001.txt里面了

5）那么，下一次访问的时候，如何继续使用上次留下的cookie信息呢？要知道，很多网站都是靠监视你的cookie信息，来判断你是不是不按规矩访问他们的网站的。

这次我们使用这个option来把上次的cookie信息追加到http request里面去： -b

$ curl -x 123.45.67.89:1080 -o page1.html -D cookie0002.txt -b cookie0001.txt http://www.linuxidc.com

这样，我们就可以几乎模拟所有的IE操作，去访问网页了！

6）稍微等等    ~我好像忘记什么了    ~

对了！是浏览器信息

有些讨厌的网站总要我们使用某些特定的浏览器去访问他们，有时候更过分的是，还要使用某些特定的版本    NND，哪里有时间为了它去找这些怪异的浏览器呢！？

好在curl给我们提供了一个有用的option，可以让我们随意指定自己这次访问所宣称的自己的浏览器信息： -A

$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.linuxidc.com

这样，服务器端接到访问的要求，会认为你是一个运行在Windows 2000上的 IE6.0，嘿嘿嘿，其实也许你用的是苹果机呢！

而"Mozilla/4.73 [en] (X11; U; Linux 2.2; 15 i686"则可以告诉对方你是一台 PC上跑着的Linux，用的是Netscape 4.73，呵呵呵

7）另外一个服务器端常用的限制方法，就是检查http访问的referer。比如你先访问首页，再访问里面所指定的下载页，这第二次访问的 referer地址就是第一次访问成功后的页面地址。这样，服务器端只要发现对下载页面某次访问的referer地址不是首页的地址，就可以断定那是个盗 连了    ~

讨厌讨厌 ~我就是要盗连    ~！！

幸好curl给我们提供了设定referer的option： -e

$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -e "mail.linuxidc.com" -o page.html -D cookie0001.txt http://www.linuxidc.com

这样，就可以骗对方的服务器，你是从mail.linuxidc.com点击某个链接过来的了，呵呵呵

8）写着写着发现漏掉什么重要的东西了！——- 利用curl 下载文件

刚才讲过了，下载页面到一个文件里，可以使用 -o ，下载文件也是一样。比如，

$ curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG

这里教大家一个新的option： -O 大写的O，这么用：

$ curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG

这样，就可以按照服务器上的文件名，自动存在本地了！

再来一个更好用的。

如果screen1.JPG以外还有screen2.JPG、screen3.JPG、....、screen10.JPG需要下载，难不成还要让我们写一个script来完成这些操作？

不干！

在curl里面，这么写就可以了：

$ curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG

呵呵呵，厉害吧？！ ~

9）再来，我们继续讲解下载！

$ curl -O http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG

这样产生的下载，就是

~zzh/001.JPG

~zzh/002.JPG

...

~zzh/201.JPG

~nick/001.JPG

~nick/002.JPG

...

~nick/201.JPG

够方便的了吧？哈哈哈

咦？高兴得太早了。

由于zzh/nick下的文件名都是001，002...，201，下载下来的文件重名，后面的把前面的文件都给覆盖掉了 ~

没关系，我们还有更狠的！

$ curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG

—这是.....自定义文件名的下载？ —对头，呵呵！

这样，自定义出来下载下来的文件名，就变成了这样：原来： ~zzh/001.JPG —-> 下载后： 001-zzh.JPG 原来： ~nick/001.JPG —-> 下载后： 001-nick.JPG

这样一来，就不怕文件重名啦，呵呵

常用参数：

    -a/--append 上传文件时，附加到目标文件
    -A/--user-agent <string> 设置用户代理发送给服务器
        -anyauth 可以使用“任何”身份验证方法
    -b/--cookie <name=string/file> cookie字符串或文件读取位置
        - basic 使用HTTP基本验证
    -B/--use-ascii 使用ASCII /文本传输
    -c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中
    -C/--continue-at <offset> 断点续转
    -d/--data <data> HTTP POST方式传送数据
    　　--data-ascii <data> 以ascii的方式post数据
    　　--data-binary <data> 以二进制的方式post数据
    　　--negotiate 使用HTTP身份验证
    　　--digest 使用数字身份验证
    　　--disable-eprt 禁止使用EPRT或LPRT
    　　--disable-epsv 禁止使用EPSV
    -D/--dump-header <file> 把header信息写入到该文件中
    　　--egd-file <file> 为随机数据(SSL)设置EGD socket路径
    　　--tcp-nodelay 使用TCP_NODELAY选项
    -e/--referer 来源网址
    -E/--cert <cert[:passwd]> 客户端证书文件和密码 (SSL)
    　　--cert-type <type> 证书文件类型 (DER/PEM/ENG) (SSL)
    　　--key <key> 私钥文件名 (SSL)
    　　--key-type <type> 私钥文件类型 (DER/PEM/ENG) (SSL)
    　　--pass <pass> 私钥密码 (SSL)
    　　--engine <eng> 加密引擎使用 (SSL). "--engine list" for list
    　　--cacert <file> CA证书 (SSL)
    　　--capath <directory> CA目录 (made using c_rehash) to verify peer against (SSL)
    　　--ciphers <list> SSL密码
    　　--compressed 要求返回是压缩的形势 (using deflate or gzip)
    　　--connect-timeout <seconds> 设置最大请求时间
    　　--create-dirs 建立本地目录的目录层次结构
    　　--crlf 上传是把LF转变成CRLF
    -f/--fail 连接失败时不显示http错误
    　　--ftp-create-dirs 如果远程目录不存在，创建远程目录
    　　--ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用
    　　--ftp-pasv 使用 PASV/EPSV 代替端口
    　　--ftp-skip-pasv-ip 使用PASV的时候,忽略该IP地址
    　　--ftp-ssl 尝试用 SSL/TLS 来进行ftp数据传输
    　　--ftp-ssl-reqd 要求用 SSL/TLS 来进行ftp数据传输
    -F/--form <name=content> 模拟http表单提交数据
    　　--form-string <name=string> 模拟http表单提交数据
    -g/--globoff 禁用网址序列和范围使用{}和[]
    -G/--get 以get的方式来发送数据
    -h/--help 帮助
    -H/--header <line>自定义头信息传递给服务器
    　　--ignore-content-length 忽略的HTTP头信息的长度
    -i/--include 输出时包括protocol头信息
    -I/--head 只显示请求头信息
    -j/--junk-session-cookies 读取文件进忽略session cookie
    　　--interface <interface> 使用指定网络接口/地址
    　　--krb4 <level> 使用指定安全级别的krb4
    -k/--insecure 允许不使用证书到SSL站点
    -K/--config 指定的配置文件读取
    -l/--list-only 列出ftp目录下的文件名称
    　　--limit-rate <rate> 设置传输速度
    　　--local-port<NUM> 强制使用本地端口号
    -m/--max-time <seconds> 设置最大传输时间
    　　--max-redirs <num> 设置最大读取的目录数
    　　--max-filesize <bytes> 设置最大下载的文件总量
    -M/--manual 显示全手动
    -n/--netrc 从netrc文件中读取用户名和密码
    　　--netrc-optional 使用 .netrc 或者 URL来覆盖-n
    　　--ntlm 使用 HTTP NTLM 身份验证
    -N/--no-buffer 禁用缓冲输出
    -o/--output 把输出写到该文件中
    -O/--remote-name 把输出写到该文件中，保留远程文件的文件名
    -p/--proxytunnel 使用HTTP代理
    　　--proxy-anyauth 选择任一代理身份验证方法
    　　--proxy-basic 在代理上使用基本身份验证
    　　--proxy-digest 在代理上使用数字身份验证
    　　--proxy-ntlm 在代理上使用ntlm身份验证
    -P/--ftp-port <address> 使用端口地址，而不是使用PASV
    -q 作为第一个参数，关闭 .curlrc
    -Q/--quote <cmd>文件传输前，发送命令到服务器
    -r/--range <range>检索来自HTTP/1.1或FTP服务器字节范围
    　　--range-file 读取（SSL）的随机文件
    -R/--remote-time 在本地生成文件时，保留远程文件时间
    　　--retry <num> 传输出现问题时，重试的次数
    　　--retry-delay <seconds> 传输出现问题时，设置重试间隔时间
    　　--retry-max-time <seconds> 传输出现问题时，设置最大重试时间
    -s/--silent静音模式。不输出任何东西
    -S/--show-error 显示错误
    　　--socks4 <host[:port]> 用socks4代理给定主机和端口
    　　--socks5 <host[:port]> 用socks5代理给定主机和端口
    　　--stderr <file>
    -t/--telnet-option <OPT=val> Telnet选项设置
    　　--trace <file> 对指定文件进行debug
    　　--trace-ascii <file> Like --跟踪但没有hex输出
    　　--trace-time 跟踪/详细输出时，添加时间戳
    -T/--upload-file <file> 上传文件
    　　--url <URL> Spet URL to work with
    -u/--user <user[:password]>设置服务器的用户和密码
    -U/--proxy-user <user[:password]>设置代理用户名和密码
    -v/--verbose
    -V/--version 显示版本信息
    -w/--write-out [format]什么输出完成后
    -x/--proxy <host[:port]>在给定的端口上使用HTTP代理
    -X/--request <command>指定什么命令
    -y/--speed-time 放弃限速所要的时间。默认为30
    -Y/--speed-limit 停止传输速度的限制，速度时间