cURL命令详解

cURL是什么

cURL是用于数据传输的命令行工具,支持多种传输协议,包括HTTP、HTTPS、SCP、FTP、SFTP、TELNET、FILE、SMTP、POP3等等。可以使用cURL进行HTTP/HTTPS请求、上传/下载文件等,且支持Cookie、用户身份验证、代理支持、限速等。

参数解析

curl [options] [URL...]
-A/--user-agent <string> 设定使用者的代理发送给服务器
-b/--cookie <name=string/file> 设置cookie文件的读取位置
-c/--cookie-jar <file> 操作结束后把cookie写入到指定文件中
-C/--continue-at <offset> 断点续传
-d/--data "data" 携带HTTP POST请求的data 
-D/--dump-header <file> 把header信息写入到指定文件中
-e/--referer 带入来源网址
-F/ 上传二进制文件,也可以当做-d来用
-H/--header 设定请求头
-i/--include 在输出中显示header
-K:指定配置文件
-L:会让HTTP请求跟随服务器的重定向,curl默认不跟随重定向
-m:限制curl完成时间(overall time limit)
-o/--output 把输出内容写入到指定文件中(重命名),等同于wget命令
-O/--remote-name 把输出内容写入到指定文件中,并保留原文件名
-r/--range <range> 返回HTTP/1.1或FTP服务器响应的指定范围字符
-s/--silent 静默模式,不输出任何东西
-T/--upload-file <file> 上传文件
-u/--user <user[:password]> 设定服务器的用户名和密码
-v/--verbose 输出更多信息,便于debug
-w/--write-out [format] 请求完成后指定输出内容
-x/--proxy <host[:port]> 使用HTTP代理
-X/--request [GET|POST|PUT|DELETE|PATCH]  使用指定的 http method 来发出 http request
-Y:设置下载限速
--dump-header:保存Header限速
--limit-rate:用来限制HTTP请求和回应的带宽,模拟慢网速的环境
--local-port:强制使用指定的本地端口号
--resolve HOST:PORT:ADDRESS  强制将 HOST:PORT 解析到指定的 IP ADDRESS
--trace <file>:输出请求的详细信息
-#/--progress-bar 進度條顯示當前的傳送狀態

直接获取网页内容

curl https://www.baidu.com
curl https://www.baidu.com:80	# 可以带端口号

-A/–user-agent:指定 User-Agent

有时候server会阻止curl的下载请求,这时可以透过修改User-Agent来模拟正常使用者发出的请求,比如模拟谷歌浏览器:

curl -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36" https://www.baidu.com

-b/-c:读取/存储Cookie

# 发出请求时将 cookie_file 中的数据带入请求中
curl -b cookie_file https://www.baidu.com
# 也可以用以下形式传递cookie
curl -b "oraclelicense=accept-securebackup-cookie"  https://www.baidu.com
# 将请求时产生的 cookie 放到 cookie_file 中
curl -c cookie_file https://www.baidu.com

比如使用curl -c cookie_file https://www.baidu.com命令后会在本地生成一个cookie_file 文件,如下:

# Netscape HTTP Cookie File
# https://curl.se/docs/http-cookies.html
# This file was generated by libcurl! Edit at your own risk.

.baidu.com	TRUE	/	FALSE	1678778080	BDORZ	27315

-C:断点续传

C表示Continue-at,文件下载被中断时不需要重新下载整个文件,可以通过-C​​命令继续下载:

  • -C offset:从指定的offset位置开始续传,我自己用这个参数测试时没续传成功过,不太确定如何使用;
  • -C -:让curl自己分析该从什么位置开始续传。

使用以下命令下载文件:

curl -o forest.jpg https://lmg.jj20.com/up/allimg/1114/0406210Z024/2104060Z024-5-1200.jpg

下到一半用ctrl + c中断下载,这里显示只下载了8%

[外链图片转存中…(img-szXWh88l-1678796995464)]
打开下到一半的图片如下:

[外链图片转存中…(img-Ghpi1jWd-1678796995465)]

然后使用断点续传接着下载:

curl -C - -o forest.jpg https://lmg.jj20.com/up/allimg/1114/0406210Z024/2104060Z024-5-1200.jpg

打开下载完成的图片:

[外链图片转存中…(img-5k8XsVYN-1678796995465)]

-d:携带POST请求的data

curl -X POST -d "name=andrew&age=22" -F "nm=da" https://www.baidu.com
# 将data编码
curl -X POST --data-urlencode "name=andrew age=22" https://www.baidu.com

注意:-d是发送post参数,-F是发送form-data数据,两者不能同时使用,否则会报错:

curl -X POST -d "name=andrew" -F "age=22" https://www.baidu.com
Warning: You can only select one HTTP request method! You asked for both POST
Warning: (-d, --data) and multipart formpost (-F, --form).

-D:把header信息写入到指定文件中

# 把请求返回的header信息写入到header_file文件中
curl -D header_file https://www.baidu.com

-e/–referer:带入来源网址referer

部分server为了避免盗链问题会确认引用源是否来自同一个网站,此时就要欺骗服务器的检查机制来取得相关资源。

curl -e "www.google.com" https://www.baidu.com

当某些连接必须通过301​​或302​​跳转过去时,用auto​​参数来让访问更加拟真:

curl -L -v -e ";auto" https://www.baidu.com

效果如下:

[外链图片转存中…(img-zULWi5wE-1678796995466)]

-F/–form:表单提交

curl -X POST -F 'uid="123456789"' https://www.baidu.com

-H/–header:添加请求头

curl --header 'Content-Type: application/x-www-form-urlencoded' https://www.baidu.com

-i/-I:显示response的header

# -i 返回header和网页内容
curl -i http://www.baidu.com
# -I 只返回header
curl -I http://www.baidu.com

效果如下:

[外链图片转存中…(img-bOwjNapG-1678796995466)]

-K/–config:指定配置文件

# -K后接配置文件名,如果使用 - 符号,则通过stdin输入配置
echo "user = user:passwd" | curl -K - https://www.baidu.com

-L:跟随跳转

通常情况下curl命令不会跟随301302跳转,如果期望跟随跳转可以加上-L参数。

比如我们在访问谷歌或百度时,URL没有加上www前缀,会自动触发301302跳转,我们可以用curl http://google.com/curl https://baidu.com/(注意:这里没有加www前缀)命令来测试一下:

[外链图片转存中…(img-52RE25au-1678796995466)]

[外链图片转存中…(img-Rbo4bIvT-1678796995466)]

看到了吧,这样是无法触发自动跳转的。我们再用curl -L http://google.com/来测试一下:

[外链图片转存中…(img-86Ewe7Yi-1678796995467)]

[外链图片转存中…(img-1RSFgTyq-1678796995467)]

已经触发跳转,能够正常返回html页面了。

注:

现在已经有很多网站不使用www前缀了,这种域名叫做裸域名,比如掘金的https://juejin.cn/

但不管一个网站是否使用裸域名,都要处理一个跳转问题:

  • 如果掘金选择https://juejin.cn/域名,那么它需要设置301跳转如下:

    • https://www.juejin.cn/ => https://juejin.cn/
  • 反之,如果掘金选择了https://www.juejin.cn/域名,那么它需要设置301跳转如下:

    • https://juejin.cn/ => https://www.juejin.cn/

我们可以用curl https://www.juejin.cn/命令测试掘金是否设置了301跳转,如下图:

[外链图片转存中…(img-Z9XFpisa-1678796995467)]

确实是设置了的。

[外链图片转存中…(img-UlNttgfa-1678796995467)]

[外链图片转存中…(img-emiNWQnZ-1678796995467)]

-m:限制完成时间

# 让curl必须在30分钟(1800s)内完成
curl -m 1800 -Y 3000 -y 60 www.far-away-site.com

-o/-O:下载文件

小写的-o代表下载文件并重命名:

curl -o forest.jpg https://lmg.jj20.com/up/allimg/1114/0406210Z024/2104060Z024-5-1200.jpg

大写的-O代表下载文件并使用原文件名:

curl -O https://lmg.jj20.com/up/allimg/1114/0406210Z024/2104060Z024-5-1200.jpg

-r:返回指定范围内的字符

# 返回响应的前100个字符
curl -r 0-99 https://www.baidu.com
# 返回响应的最后500个字符
curl -r -500 https://www.baidu.com

效果如下:

[外链图片转存中…(img-0e3LtcBB-1678796995467)]

-s:减少输出的信息

curl -s http://www.baidu.com

-T:上传文件

发送PUT请求。

# 上传所有的stdin标准输入到server,按ctrl+d结束输入,前提是该server能接收PUT类型的请求
curl -T - ftp://ftp.upload.com/myfile
# 也可以通过管道传递stdin
echo "user = user:passwd" | curl -T - ftp://ftp.upload.com/myfile
# 上传指定文件到server,并指定上传后的文件名为myfile
curl -T uploadfile -u user:passwd ftp://ftp.upload.com/myfile
# 上传指定文件到server,并沿用本地文件名
curl -T uploadfile -u user:passwd ftp://ftp.upload.com/
# -a:使用追加的方式上传文件
curl -T uploadfile -a ftp://ftp.upload.com/myfile

-u:设定用户名和密码

# 比如在访问ftp服务器时需要输入用户名和密码
curl -u name:passwd ftp://machine.domain:port/full/path/to/file

-v:输出完整信息

显示一次http通信的整个过程,通常用于debug

curl -v http://www.baidu.com

效果如下:

[外链图片转存中…(img-f3dol0iF-1678796995467)]

-V:查看curl版本

cur -V

效果如下:

[外链图片转存中…(img-knj36ovF-1678796995468)]

-w:请求完成后显示自定义信息

# 显示响应状态码
curl -w "%{http_code}\n" -i -s -o /dev/null https://www.baidu.com
# 显示响应 content_type
curl -w "%{content_type}\n" -i -s -o /dev/null https://www.baidu.com
# 获取更多信息见文末参考文献2

效果展示:

[外链图片转存中…(img-KuV2xlss-1678796995468)]

-x:使用代理服务器(proxy)

curl -x 192.168.5.1:8888 http://www.baidu.com
# 如果代理服务器需要账号密码,可以使用 -U 或 --proxy-user 来指定
curl -U username:password -x 192.168.5.1:8888 http://www.baidu.com
# 不使用代理访问
curl --noproxy localhost,get.this http://www.baidu.com

-X/–request:指定请求类型

curl --request GET https://www.baidu.com
curl -X POST https://www.baidu.com

-Y/-y:限制下载速度

# 限制curl的下载速度在每秒3000字节以内,保持60秒
curl -Y 3000 -y 60 www.far-away-site.com

–dump-header:保存header信息

# 将返回的header信息保存到header.txt文件中
curl --dump-header header.txt https://www.baidu.com

–limit-rate:限制下载速度

如果想测试下载是否正常又不想占用太多带宽,可以用limit-rate参数做下载限速:

curl --limit-rate 100k -o forest.jpg https://lmg.jj20.com/up/allimg/1114/0406210Z024/2104060Z024-5-1200.jpg

注意:该限速只是一个大概的值,不会卡死在指定的速度上。

–local-port:强制使用本地端口号

curl --local-port 8765 https://www.baidu.com

–resolve:强制解析Host为指定IP

curl --resolve www.google.com:443:142.251.35.164 -v https://www.google.com

–trace :输出请求的详细信息

如果用-v还是不能定位问题,可以进一步用--traceascii编码格式将更详细的内容输出到指定文件中,据此来debug

# 将trace信息保存到trace.txt文件中
curl --trace trace.txt https://www.baidu.com

trace.txt文件部分内容如下图所示:

[外链图片转存中…(img-zLJNdjmO-1678796995468)]

-# :展示下载进度

通常在下载文件时配合-o/-O使用:

curl -# -o forest.jpg https://lmg.jj20.com/up/allimg/1114/0406210Z024/2104060Z024-5-1200.jpg

效果如下:

[外链图片转存中…(img-cZh5naA8-1678796995469)]

参考文献

  1. curl tutorial
  2. Linux Curl 超詳細教學(常用篇)
  3. curl -w参数详解
  4. everything.curl.dev## cURL是什么

cURL是用于数据传输的命令行工具,支持多种传输协议,包括HTTP、HTTPS、SCP、FTP、SFTP、TELNET、FILE、SMTP、POP3等等。可以使用cURL进行HTTP/HTTPS请求、上传/下载文件等,且支持Cookie、用户身份验证、代理支持、限速等。

参数解析

curl [options] [URL...]
-A/--user-agent <string> 设定使用者的代理发送给服务器
-b/--cookie <name=string/file> 设置cookie文件的读取位置
-c/--cookie-jar <file> 操作结束后把cookie写入到指定文件中
-C/--continue-at <offset> 断点续传
-d/--data "data" 携带HTTP POST请求的data 
-D/--dump-header <file> 把header信息写入到指定文件中
-e/--referer 带入来源网址
-F/ 上传二进制文件,也可以当做-d来用
-H/--header 设定请求头
-i/--include 在输出中显示header
-K:指定配置文件
-L:会让HTTP请求跟随服务器的重定向,curl默认不跟随重定向
-m:限制curl完成时间(overall time limit)
-o/--output 把输出内容写入到指定文件中(重命名),等同于wget命令
-O/--remote-name 把输出内容写入到指定文件中,并保留原文件名
-r/--range <range> 返回HTTP/1.1或FTP服务器响应的指定范围字符
-s/--silent 静默模式,不输出任何东西
-T/--upload-file <file> 上传文件
-u/--user <user[:password]> 设定服务器的用户名和密码
-v/--verbose 输出更多信息,便于debug
-w/--write-out [format] 请求完成后指定输出内容
-x/--proxy <host[:port]> 使用HTTP代理
-X/--request [GET|POST|PUT|DELETE|PATCH]  使用指定的 http method 来发出 http request
-Y:设置下载限速
--dump-header:保存Header限速
--limit-rate:用来限制HTTP请求和回应的带宽,模拟慢网速的环境
--local-port:强制使用指定的本地端口号
--resolve HOST:PORT:ADDRESS  强制将 HOST:PORT 解析到指定的 IP ADDRESS
--trace <file>:输出请求的详细信息
-#/--progress-bar 進度條顯示當前的傳送狀態

直接获取网页内容

curl https://www.baidu.com
curl https://www.baidu.com:80	# 可以带端口号

-A/–user-agent:指定 User-Agent

有时候server会阻止curl的下载请求,这时可以透过修改User-Agent来模拟正常使用者发出的请求,比如模拟谷歌浏览器:

curl -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36" https://www.baidu.com

-b/-c:读取/存储Cookie

# 发出请求时将 cookie_file 中的数据带入请求中
curl -b cookie_file https://www.baidu.com
# 也可以用以下形式传递cookie
curl -b "oraclelicense=accept-securebackup-cookie"  https://www.baidu.com
# 将请求时产生的 cookie 放到 cookie_file 中
curl -c cookie_file https://www.baidu.com

比如使用curl -c cookie_file https://www.baidu.com命令后会在本地生成一个cookie_file 文件,如下:

# Netscape HTTP Cookie File
# https://curl.se/docs/http-cookies.html
# This file was generated by libcurl! Edit at your own risk.

.baidu.com	TRUE	/	FALSE	1678778080	BDORZ	27315

-C:断点续传

C表示Continue-at,文件下载被中断时不需要重新下载整个文件,可以通过-C​​命令继续下载:

  • -C offset:从指定的offset位置开始续传,我自己用这个参数测试时没续传成功过,不太确定如何使用;
  • -C -:让curl自己分析该从什么位置开始续传。

使用以下命令下载文件:

curl -o forest.jpg https://lmg.jj20.com/up/allimg/1114/0406210Z024/2104060Z024-5-1200.jpg

下到一半用ctrl + c中断下载,这里显示只下载了8%

在这里插入图片描述

打开下到一半的图片如下:

在这里插入图片描述

然后使用断点续传接着下载:

curl -C - -o forest.jpg https://lmg.jj20.com/up/allimg/1114/0406210Z024/2104060Z024-5-1200.jpg

打开下载完成的图片:

在这里插入图片描述

-d:携带POST请求的data

curl -X POST -d "name=andrew&age=22" -F "nm=da" https://www.baidu.com
# 将data编码
curl -X POST --data-urlencode "name=andrew age=22" https://www.baidu.com

注意:-d是发送post参数,-F是发送form-data数据,两者不能同时使用,否则会报错:

curl -X POST -d "name=andrew" -F "age=22" https://www.baidu.com
Warning: You can only select one HTTP request method! You asked for both POST
Warning: (-d, --data) and multipart formpost (-F, --form).

-D:把header信息写入到指定文件中

# 把请求返回的header信息写入到header_file文件中
curl -D header_file https://www.baidu.com

-e/–referer:带入来源网址referer

部分server为了避免盗链问题会确认引用源是否来自同一个网站,此时就要欺骗服务器的检查机制来取得相关资源。

curl -e "www.google.com" https://www.baidu.com

当某些连接必须通过301​​或302​​跳转过去时,用auto​​参数来让访问更加拟真:

curl -L -v -e ";auto" https://www.baidu.com

效果如下:

在这里插入图片描述

-F/–form:表单提交

curl -X POST -F 'uid="123456789"' https://www.baidu.com

-H/–header:添加请求头

curl --header 'Content-Type: application/x-www-form-urlencoded' https://www.baidu.com

-i/-I:显示response的header

# -i 返回header和网页内容
curl -i http://www.baidu.com
# -I 只返回header
curl -I http://www.baidu.com

效果如下:

在这里插入图片描述

-K/–config:指定配置文件

# -K后接配置文件名,如果使用 - 符号,则通过stdin输入配置
echo "user = user:passwd" | curl -K - https://www.baidu.com

-L:跟随跳转

通常情况下curl命令不会跟随301302跳转,如果期望跟随跳转可以加上-L参数。

比如我们在访问谷歌或百度时,URL没有加上www前缀,会自动触发301302跳转,我们可以用curl http://google.com/curl https://baidu.com/(注意:这里没有加www前缀)命令来测试一下:

在这里插入图片描述
在这里插入图片描述
看到了吧,这样是无法触发自动跳转的。我们再用curl -L http://google.com/来测试一下:

在这里插入图片描述
在这里插入图片描述

已经触发跳转,能够正常返回html页面了。

注:

现在已经有很多网站不使用www前缀了,这种域名叫做裸域名,比如掘金的https://juejin.cn/

但不管一个网站是否使用裸域名,都要处理一个跳转问题:

  • 如果掘金选择https://juejin.cn/域名,那么它需要设置301跳转如下:

    • https://www.juejin.cn/ => https://juejin.cn/
  • 反之,如果掘金选择了https://www.juejin.cn/域名,那么它需要设置301跳转如下:

    • https://juejin.cn/ => https://www.juejin.cn/

我们可以用curl https://www.juejin.cn/命令测试掘金是否设置了301跳转,如下图:

在这里插入图片描述

确实是设置了的。

在这里插入图片描述
在这里插入图片描述

-m:限制完成时间

# 让curl必须在30分钟(1800s)内完成
curl -m 1800 -Y 3000 -y 60 www.far-away-site.com

-o/-O:下载文件

小写的-o代表下载文件并重命名:

curl -o forest.jpg https://lmg.jj20.com/up/allimg/1114/0406210Z024/2104060Z024-5-1200.jpg

大写的-O代表下载文件并使用原文件名:

curl -O https://lmg.jj20.com/up/allimg/1114/0406210Z024/2104060Z024-5-1200.jpg

-r:返回指定范围内的字符

# 返回响应的前100个字符
curl -r 0-99 https://www.baidu.com
# 返回响应的最后500个字符
curl -r -500 https://www.baidu.com

效果如下:

在这里插入图片描述

-s:减少输出的信息

curl -s http://www.baidu.com

-T:上传文件

发送PUT请求。

# 上传所有的stdin标准输入到server,按ctrl+d结束输入,前提是该server能接收PUT类型的请求
curl -T - ftp://ftp.upload.com/myfile
# 也可以通过管道传递stdin
echo "user = user:passwd" | curl -T - ftp://ftp.upload.com/myfile
# 上传指定文件到server,并指定上传后的文件名为myfile
curl -T uploadfile -u user:passwd ftp://ftp.upload.com/myfile
# 上传指定文件到server,并沿用本地文件名
curl -T uploadfile -u user:passwd ftp://ftp.upload.com/
# -a:使用追加的方式上传文件
curl -T uploadfile -a ftp://ftp.upload.com/myfile

-u:设定用户名和密码

# 比如在访问ftp服务器时需要输入用户名和密码
curl -u name:passwd ftp://machine.domain:port/full/path/to/file

-v:输出完整信息

显示一次http通信的整个过程,通常用于debug

curl -v http://www.baidu.com

效果如下:

在这里插入图片描述

-V:查看curl版本

cur -V

效果如下:

在这里插入图片描述

-w:请求完成后显示自定义信息

# 显示响应状态码
curl -w "%{http_code}\n" -i -s -o /dev/null https://www.baidu.com
# 显示响应 content_type
curl -w "%{content_type}\n" -i -s -o /dev/null https://www.baidu.com
# 获取更多信息见文末参考文献2

效果展示:

在这里插入图片描述

-x:使用代理服务器(proxy)

curl -x 192.168.5.1:8888 http://www.baidu.com
# 如果代理服务器需要账号密码,可以使用 -U 或 --proxy-user 来指定
curl -U username:password -x 192.168.5.1:8888 http://www.baidu.com
# 不使用代理访问
curl --noproxy localhost,get.this http://www.baidu.com

-X/–request:指定请求类型

curl --request GET https://www.baidu.com
curl -X POST https://www.baidu.com

-Y/-y:限制下载速度

# 限制curl的下载速度在每秒3000字节以内,保持60秒
curl -Y 3000 -y 60 www.far-away-site.com

–dump-header:保存header信息

# 将返回的header信息保存到header.txt文件中
curl --dump-header header.txt https://www.baidu.com

–limit-rate:限制下载速度

如果想测试下载是否正常又不想占用太多带宽,可以用limit-rate参数做下载限速:

curl --limit-rate 100k -o forest.jpg https://lmg.jj20.com/up/allimg/1114/0406210Z024/2104060Z024-5-1200.jpg

注意:该限速只是一个大概的值,不会卡死在指定的速度上。

–local-port:强制使用本地端口号

curl --local-port 8765 https://www.baidu.com

–resolve:强制解析Host为指定IP

curl --resolve www.google.com:443:142.251.35.164 -v https://www.google.com

–trace :输出请求的详细信息

如果用-v还是不能定位问题,可以进一步用--traceascii编码格式将更详细的内容输出到指定文件中,据此来debug

# 将trace信息保存到trace.txt文件中
curl --trace trace.txt https://www.baidu.com

trace.txt文件部分内容如下图所示:

在这里插入图片描述

-# :展示下载进度

通常在下载文件时配合-o/-O使用:

curl -# -o forest.jpg https://lmg.jj20.com/up/allimg/1114/0406210Z024/2104060Z024-5-1200.jpg

效果如下:

在这里插入图片描述

参考文献

  1. curl tutorial
  2. Linux Curl 超詳細教學(常用篇)
  3. curl -w参数详解
  4. everything.curl.dev
  • 8
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值