shell处理curl返回数据_shell神器curl用法笔记

##基本用法(配合sed/awk/grep)

$curl http: //bpsky.net

##下载保存

$curl http://bpsky.net > index.html

$curl -o index.html http://bpsky.net

$curl -O http://bpsky.net/target.tar.gz

##通过代理

$curl -x 123.45.67.89:1080 -o page.html http://bpsky.net

##保存cookie

$curl -x 123.45.67.89:1080 -o page1.html -D cookie0001.txt http://bpsky.net

##使用cookie

$curl -x 123.45.67.89:1080 -o page1.html -D cookie0002.txt -b cookie0001.txt http://bpsky.net

##模仿浏览器

$curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://bpsky.net

##伪造referer

$curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -e "mail.yahoo.com" -o page.html -D cookie0001.txt http://bpsky.net

##循环下载

$curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG

##循环(匹配)下载

$curl -O http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG # >like zzh/001.JPG

##循环(引用)下载

$curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG # like >001_zzh.jpg

##断点续传

$curl -c -O http://cgi2.tky.3wb.ne.jp/~zzh/screen1.JPG

##分块下载

$curl -r 0 - 10240 -o "zhao.part1" http://cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\

$curl -r 10241 - 20480 -o "zhao.part1" http://cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\

$curl -r 20481 - 40960 -o "zhao.part1" http://cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\

$curl -r 40961 - -o "zhao.part1" http://cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3

...

$cat zhao.part* > zhao.mp3

##GET 上传

$curl http://www.yahoo.com/login.cgi?user=nickwolfe&password=12345

##POST 上传

$curl -d "user=nickwolfe&password=12345" http://www.yahoo.com/login.cgi

##POST 文件上传

$curl -F upload=$localfile -F btn_name=$btn_value http://cgi2.tky.3web.ne.jp/~zzh/up_file.cgi

## 超时设置 两个超时时间：一个是连接超时时间，另一个是数据传输的最大允许时间

$curl --connect-timeout 10 -m 20 "http://XXXXXXX"