Curl用法

最新推荐文章于 2024-06-25 18:52:24 发布
最新推荐文章于 2024-06-25 18:52:24 发布
阅读量1.5k 收藏 5
点赞数 1
分类专栏： linux 文章标签： curl 网络

CURL

Curl 的一些用法详解，Commad Line URL vi

curl 是一种命令行工具，作用是发出网络请求，然后得到和提取数据，显示在“标准输出”（stdout）上面，他支持多种协议。

一、查看网页源代码

直接在curl命令后加上网址，可以看到网页源码。

$ curl www.sina.com
　　<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
　　<html><head>
　　<title>301 Moved Permanently</title>
　　</head><body>
　　<h1>Moved Permanently</h1>
　　<p>The document has moved <a href="http://www.sina.com.cn/">here</a>.</p>
　　</body></html>

如果要把这个文件保存下来，可以使用”-o”参数，相当于使用wget命令。

$ curl -o [文件名] www.sina.com

二、自动跳转

有的网址是自动跳转的。使用-L参数，curl就会跳转到新的网址。

$ curl -L www.sina.com

三、显示头信息

‘-i’，参数可以显示 http response的头信息，连同网页代码一起。

$ curl -i www.sina.com
　　HTTP/1.0 301 Moved Permanently
　　Date: Sat, 03 Sep 2011 23:44:10 GMT
　　Server: Apache/2.0.54 (Unix)
　　Location: http://www.sina.com.cn/
　　Cache-Control: max-age=3600
　　Expires: Sun, 04 Sep 2011 00:44:10 GMT
　　Vary: Accept-Encoding
　　Content-Length: 231
　　Content-Type: text/html; charset=iso-8859-1
　　Age: 3239
　　X-Cache: HIT from sh201-9.sina.com.cn
　　Connection: close
　　<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
　　<html><head>
　　<title>301 Moved Permanently</title>
　　</head><body>
　　<h1>Moved Permanently</h1>
　　<p>The document has moved <a href="http://www.sina.com.cn/">here</a>.</p>
　　</body></html>

‘-I‘ 只显示http response的头信息

四、显示通信过程

‘-v’参数可以显示一次http通信的整个过程，包括端口连接和http requests头信息

　$ curl -v www.sina.com
　　* About to connect() to www.sina.com port 80 (#0)
　　* Trying 61.172.201.195... connected
　　* Connected to www.sina.com (61.172.201.195) port 80 (#0)
　　> GET / HTTP/1.1
　　> User-Agent: curl/7.21.3 (i686-pc-linux-gnu) libcurl/7.21.3 OpenSSL/0.9.8o zlib/1.2.3.4 libidn/1.18
　　> Host: www.sina.com
　　> Accept: */*
　　> 
　　* HTTP 1.0, assume close after body
　　< HTTP/1.0 301 Moved Permanently
　　< Date: Sun, 04 Sep 2011 00:42:39 GMT
　　< Server: Apache/2.0.54 (Unix)
　　< Location: http://www.sina.com.cn/
　　< Cache-Control: max-age=3600
　　< Expires: Sun, 04 Sep 2011 01:42:39 GMT
　　< Vary: Accept-Encoding
　　< Content-Length: 231
　　< Content-Type: text/html; charset=iso-8859-1
　　< X-Cache: MISS from sh201-19.sina.com.cn
　　< Connection: close
　　< 
　　<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
　　<html><head>
　　<title>301 Moved Permanently</title>
　　</head><body>
　　<h1>Moved Permanently</h1>
　　<p>The document has moved <a href="http://www.sina.com.cn/">here</a>.</p>
　　</body></html>
　　* Closing connection #0
$ curl --trace output.txt www.sina.com

五、发送表单信息

发送表单信息有GET和POST两种方法。GET方法相对简单，只要把数据附在网址后面就行。

$ curl example.com/form.cgi?data=xxx

POST方法必须把数据和网址分开，curl就要用到–data参数。

$ curl -X POST --data "data=xxx" example.com/form.cgi     //--data可以写成-d

如果要输出到指定文件可以进行重定向操作

$ curl -H "Content-Type:application/json" -X POST --data '{"message": "sunshine"}' http://localhost:8000/

六、HTTP动词

curl默认的Http动词是GET，使用‘-X’参数可以支持其他动词

$ curl -X POST www.example.com
$ curl -X DELETE www.example.com

七、文件上传

假定文件上传的表单是下面这样的;

　　<form method="POST" enctype='multipart/form-data' action="upload.cgi">
　　　　<input type=file name=upload>
　　　　<input type=submit name=press value="OK">
　　</form>

八、Referer字段

有时候你需要在http request头信息中，提供一个referer字段，表示你是从哪里跳转过来的

 $ curl --referer http://www.example.com http://www.example.com

九、User Agen字段

这个字段是用来表示客户端的设备信息，服务器有时会根据这个字段，针对不同设备，返回不同格式的网页，比如手机版和桌面版。

iPhone4的User Agen是

　　Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293 Safari/6531.22.7

curl可以这样模拟：

$ curl --user-agent "[User Agent]" [URL]

十、Cookie

使用--cookie参数，可以让curl发送cookie。

$ curl --cookie "name=xxx" www.example.com
无与伦比jia
关注
专栏目录
CURL用法大全
10-21
1.访问http页面内容，输出到标准输出 curl http://www.neocanable.com 2.生成文件 curl -o index.html http://www.neocanable.com 以远程文件名保存 curl -O http://www.neocanable.com 参数-o为输出到某个文件，上面的命令等同于wget http://www.neocanable.com或者curl http://www.neocanable.com > index.html 3.添加proxy curl -x xxx.xxx.xxx.xxx http://www.neocanable.com 通过代理ip访问网页 4.添加浏览器信息 通常服务器的日志会记录客户端浏览器的信息 curl -A “浏览器信息” http://www.neocanable.com 5.批量下载文件 curl http://www.xxx.com/action/[1-100].html > /dev/null 这个最适合爬自己网站的缓存了 文件下载后重新命名和类正则使用,下载后的文件是demo1-001.html curl -o #1_#2 http://www.xxx.com/~{demo1,demo2}/[1-100].html 创建需要的目录 curl -o –create-dirs http://www.xxx.com/~{demo1,demo2}/[1-100].html 6.分块下载 curl -r 0-1024 http://www.xxx.com/aa.zip curl -r 1025- http://www.xxx.com/aa.zip 先下1M,然后再下剩下的 7.curl ftp 访问ftp地址 curl -u username:password ftp://www.xxx.com curl -u ftp://www.xxx.com 添加端口 curl -u username:password -P8899 ftp://www.xxx.com 上传文件到ftp curl -T /home/neo/demo.jpg -u username:password ftp://www.xxx.com 8.测试参数 测试站点相应时间 curl -o /dev/null -s -w %{time_connect}:%{time_starttransfer}:%{time_total} www.google.com 查看http_code curl -o /dev/null -s -w %{http_code} http://www.neocanable.com 网页或文件大小 curl -o /dev/null -s -w %{size_header} http://www.neocanable.com http_code:http返回类似404,200,500等 time_total:总相应时间 time_namelookup:域名解析时间 time_connect:连接到目标地址耗费的时间 time_pretransfer:从执行到开始传输文件的时间间隔 time_starttransfer:从执行到开始传输文件的时间间隔 size_download:下载网页或文件大小 size_upload:上传文件大小 size_header:响应头 size_request:发送请求参数大小 speed_download：传输速度 speed_upload:平均上传速度 content_type:下载文件类型. (Added in 7.9.5) 9.post和get请求 get请求 curl “param1=name&params2=pass” http://www.xxx.com post请求 curl -d “param1=name&params2=pass” http://www.xxx.com 10.响应超时 curl -m 40 http://www.xxx.com curl –timeout 40 http://www.xxx.com 11.破解网站的防盗链 curl -e “http://www.a.net” http://www.b.net/acion 12.网站头部信息 curl -I http://www.neocanable.com 13.更总url跳转 curl -L http://url.cn/2yQFfd 14.正确的给url编码 curl –data-urlencode http://www.xxx.com/action?name=张三&sex=男 15.限制url的传输速度 curl –limit-rate http://www.xxx.com/action 16.限制下载文件大小 curl –max-filesize 1024 http://www.xxx.com/action 超过1M将不执行操作，并且返回出错 17.curl错误代码 1:未支持的协议。此版cURL不支持这一协议。 2:初始化失败。 3:URL格式错误。语法不正确。 5:无法解析代理。无法解析给定代理主机。 6:无法解析主机。无法解析给定的远程主机。 7:无法连接到主机。 8:FTP非正常的服务器应答。cURL无法解析服务器发送的数据。 9:FTP访问被拒绝。服务器拒绝登入或无法获取您想要的特定资源或目录。最有可能的是您试图进入一个在此服务器上不存在的目录。 11:FTP 非正常的PASS回复。cURL无法解析发送到PASS请求的应答。 13:FTP 非正常的的PASV应答，cURL无法解析发送到PASV请求的应答。 14:FTP非正常的227格式。cURL无法解析服务器发送的227行。 15:FTP无法连接到主机。无法解析在227行中获取的主机IP。 17:FTP无法设定为二进制传输。无法改变传输方式到二进制。 18:部分文件。只有部分文件被传输。 19:FTP不能下载/访问给定的文件， RETR (或类似)命令失败。 21:FTP quote错误。quote命令从服务器返回错误。 22:HTTP 找不到网页。找不到所请求的URL或返回另一个HTTP 400或以上错误。此返回代码只出现在使用了-f/–fail选项以后。 23:写入错误。cURL无法向本地文件系统或类似目的写入数据。 25:FTP 无法STOR文件。服务器拒绝了用于FTP上传的STOR操作。 26:读错误。各类读取问题。 27:内存不足。内存分配请求失败。 28:操作超时。到达指定的超时期限条件。 30:FTP PORT失败。PORT命令失败。并非所有的FTP服务器支持PORT命令，请尝试使用被动(PASV)传输代替！ 31:FTP无法使用REST命令。REST命令失败。此命令用来恢复的FTP传输。 33:HTTP range错误。range “命令”不起作用。 34:HTTP POST错误。内部POST请求产生错误。 35:SSL连接错误。SSL握手失败。 36:FTP 续传损坏。不能继续早些时候被中止的下载。 37:文件无法读取。无法打开文件。权限问题？ 38:LDAP 无法绑定。LDAP绑定(bind)操作失败。 39:LDAP 搜索失败。 41:功能无法找到。无法找到必要的LDAP功能。 42:由回调终止。应用程序告知cURL终止运作。 43:内部错误。由一个不正确参数调用了功能。 45:接口错误。指定的外发接口无法使用。 47:过多的重定向。cURL达到了跟随重定向设定的最大限额跟 48:指定了未知TELNET选项。 49:不合式的telnet选项。 51:peer的SSL证书或SSH的MD5指纹没有确定。 52:服务器无任何应答，该情况在此处被认为是一个错误。 53:找不到SSL加密引擎。 54:无法将SSL加密引擎设置为默认。 55:发送网络数据失败。 56:在接收网络数据时失败。 58:本地证书有问题。 59:无法使用指定的SSL密码。 60:peer证书无法被已知的CA证书验证。 61:无法辨识的传输编码。 62:无效的LDAP URL。 63:超过最大文件尺寸。 64:要求的FTP的SSL水平失败。 65:发送此数据需要的回卷(rewind)失败。 66:初始化SSL引擎失败。 67:用户名、密码或类似的信息未被接受，cURL登录失败。 68:在TFTP服务器上找不到文件。 69:TFTP服务器权限有问题。 70:TFTP服务器磁盘空间不足。 71:非法的TFTP操作。 72:未知TFTP传输编号(ID)。 73:文件已存在(TFTP) 。 74:无此用户(TFTP) 。 75:字符转换失败。 76:需要字符转换功能。 77:读SSL证书出现问题(路径？访问权限？ ) 。 78:URL中引用的资源不存在。 79:SSH会话期间发生一个未知错误。 80:未能关闭SSL连接。 82:无法加载CRL文件，丢失或格式不正确(在7.19.0版中增加 ) 。 83:签发检查失败(在7.19.0版中增加 ) 。
学习使用curl采集curl使用方法
12-19
**使用curl进行网页数据采集** `curl` 是一个强大的命令行工具，用于传输数据，它支持多种协议，包括HTTP、HTTPS、FTP等。...了解并熟练掌握`curl`的使用方法，能够帮助开发者更高效地获取和处理网络上的信息。
curl用法
一条没有梦想的闲鱼的博客
09-02 8642
curl网站开发指南 curl是一种命令行工具，作用是发出网络请求，然后得到和提取数据，显示在"标准输出"（stdout）上面。 一、查看网页源码 直接在curl命令后加上网址，就可以看到网页源码。 curl www.sina.com 如果要把这个网页保存下来，可以使用`-o`参数，这就相当于使用wget命令了。 curl -o 文件名 www.sina.com 二、自动跳转 有的网址是自动跳转的。使用`-L`参数，curl就会跳转到新的网址。 curl -L www.s..
cURL 常用命令指南
最新发布
精通搬砖，资深技术砖家，在软件开发，人工智能，设备开发等领域都有研究。商业合作&交流学习可私信联系。
06-25 1214
cURL 的神奇之处在于它对广泛的协议如 HTTP、HTTPS和 FTP 的支持，它能够满足几乎所有的网络请求需求。大多数操作系统都内置了命令行工具，方便进行 cURL 测试；例如，在 Windows 系统中，只需按下“Win + R”键，输入cmd调出命令行，然后输入相应的 cURL 命令并敲击回车键，如，就能够获得所请求网站的数据。cURL。
curl的用法整理
因上努力，果上随缘。但行好事，莫问前程。
08-04 7874
Curl 是一个常用的命令行数据传输工具，可以方便的从命令行创建网络请求。它支持众多协议，支持如 HTTP, HTTPS, FTP, FTPS, SFTP, IMAP, SMTP, POP3 等等协议。Curl 提供了很多强大的功能，我们可以利用它来进行 HTTP 请求、上传/下载文件等，且支持 Cookie、用户密码验证、代理隧道、限速等。Curl 用于上传和下载指定 URL 的数据，它是一个客户端(client-side)工具，一个客户端 URL 工具。这也是它的名字的由来。...
curl 的用法指南
weixin_43126000的博客
07-16 414
简介： curl 是常用的命令行工具，用来请求 Web 服务器。它的名字就是客户端（client）的 URL 工具的意思。 它的功能非常强大，命令行参数多达几十种。如果熟练的话，完全可以取代 Postman 这一类的图形界面工具。 《Curl Cookbook》 不带有任何参数时，curl 就是发出 GET 请求。 $ curl https://www.example.com 上面命令向www.example.com发出 GET 请求，服务器返回的内容会在命令行输出。 -A A参数指定客户端的用户代理标
php采集神器cURL使用方法详解
10-22
在本文中，我们将深入探讨cURL在PHP中的使用方法。 首先，让我们回顾一下`file_get_contents`函数的基本用法。这个函数简单易用，可以获取远程URL的数据。例如： ```php $url = "http://example.com"; $content = ...
基于PHP CURL用法的深入分析
10-27
本篇文章将对PHP中的CURL用法进行深入分析。 首先，我们看到示例代码中的一些基础用法。设置HTTP头是经常需要用到的一个功能，可以用来模拟浏览器行为或指定返回的数据类型等。在PHP中的CURL操作中，可以使用...
【curl教程】5分钟，快速了解curl用法
08-31
【curl教程】5分钟，快速了解curl用法
curl常用用法
wangjunsheng的专栏
08-20 1200
curl常用用法 原作者 :DarkRanger1 -v显示请求详细信息 curl www.baidu.com -v -X 指定请求方式 GET请求 curl -X GET http://localhost:8080/search?data=123 # -X GET是可选的 POST请求， 注意 x 必须是大写的 curl -X POST -d"data=123&amp...
curl的用法汇总
Edidaughter的博客
11-14 575
1.curl简介 cURL是一个利用URL语法在命令行下工作的文件传输工具，1997年首次发行。它支持文件上传和下载，所 以是综合传输工具，但按传统，习惯称cURL为下载工具。cURL还包含了用于程序开发的libcurl。 curl(CommandLine Uniform Resource Locator) 2.curl的学习 man curl 3.curl常用介绍 curl 127.0.0.1:8080 -v 查看请求的头部及body信息，返回头部及body的信息 curl 127.0
CURL详细用法
aggrelxf的专栏
06-05 5959
PHP 中的CURL 是使用URL语法的传送文件工具，支持FTP、FTPS、HTTP HTPPS SCP SFTP TFTP TELNET DICT FILE和LDAP。curl 支持SSL证书、HTTP POST、HTTP PUT 、FTP 上传，kerberos、基于HTT格式的上传、代理、cookie、用户＋口令证明、文件传送恢复、http代理通道和大量其他有用的技巧。详见参考手册
cURL的常见用法
水果623的博客
05-24 1万+
记录了一些cURL的常见用法，方便以后查阅
curl命令用法
热门推荐
午夜阳光
10-29 5万+
1. CURL命令简介 CURL（CommandLine Uniform Resource Locator），是一个利用 URL 语法，在命令行终端下使用的网络请求工具，支持 HTTP、HTTPS、FTP 等协议。CURL 也有用于程序开发使用的版本 libcurl。 Linux、MAC 一般系统默认已安装好 curl，直接在终端使用命令即可，如果需要手动安装，可以到 curl.haxx.se...
curl命令简单使用
weixin_34414650的博客
02-24 174
curl命令简单使用 下载文件 curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG 批量下载 curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG 续传 curl -c -O http://cgi2.tk...
curl语法
08-25 691
curl [options] [URL...]// 查看请求信息 curl -I www.baidu.com// 批量 curl http://sports.tumblr.com/page/[5-10]// GET请求 curl 'www.a.com/junk.cgi?name1=value1&name2=value2'// POST请求 curl -d 'name=value1&password=
curl 命令
深之JohnChen的专栏
02-18 2万+
1. curl 命令简介 cURL（CommandLine Uniform Resource Locator），是一个利用 URL 语法，在命令行终端下使用的网络请求工具，支持 HTTP、HTTPS、FTP 等协议。cURL 也有用于程序开发使用的版本 libcurl。 Linux、MAC 一般系统默认已安装好 curl，直接在终端使用命令即可，如果需要手动安装，可以到curl.haxx.se下载安装。 Windows 系统 curl 下载地址:https://curl.haxx.se/wind...
curl工具的入门级使用
m0_74259636的博客
01-31 2891
cURL是常用的命令行工具， 它的名字就是客户端（client）的 URL 工具的意思。1997年首次发行。它支持文件上传和下载， 是综合传输工具。
linux curl用法
09-27
curl是一个在Linux系统中利用URL工作的命令行文件传输工具，常用于服务访问和文件下载。它支持多种协议，包括HTTP、HTTPS、FTP等，默认...以上是一些常见的curl用法，希望对你有帮助。如果你还有其他问题，请继续提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值