linux下命令行访问网站的工具CURL

最新推荐文章于 2024-06-21 23:46:05 发布
最新推荐文章于 2024-06-21 23:46:05 发布
阅读量887 收藏
点赞数
分类专栏： ubuntu

curl的用法

http://hi.baidu.com/nigx/blog/item/e9f38a31cd0aa986a71e12ab.html

http://www.cfan.net.cn/baike/internet/10742.shtml

curl是一个利用URL语法在命令行方式下工作的文件传输工具。本文介绍了它的简单用法。

*******************************************************************************************************************************************************

curl是一个利用URL语法在命令行方式下工作的文件传输工具。


它支持很多协议：FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。
curl同样支持HTTPS认证，HTTP POST方法, HTTP PUT方法, FTP上传, kerberos认证, HTTP上传, 代理服务器, cookies, 用户名/密码认证, 下载文件断点续传, 上载文件断点续传, http代理服务器管道（ proxy tunneling）, 甚至它还支持IPv6, socks5代理服务器, 通过http代理服务器上传文件到FTP服务器等等，功能十分强大。

Windows操作系统下的网络蚂蚁，网际快车(FlashGet)的功能它都可以做到。准确的说，curl支持文件的上传和下载，所以是一个综合传输工具，但是按照传统，用户习惯称curl为下载工具。

curl是瑞典curl组织开发的，您可以访问: http://curl.haxx.se/
获取它的源代码和相关说明。

鉴于curl在Linux上的广泛使用，IBM在AIX Linux Toolbox的光盘中包含了这个软件，并且您可以访问IBM网站:

http://www- 1.ibm.com/servers/aix/products/aixos/linux/altlic.html     下载它。

curl的最新版本是 7.18.0，IBM网站上提供的版本为7.9.3。

在AIX下的安装很简单，IBM网站上下载的rpm格式的包。

在 http://curl.haxx.se/docs/，您可以下载到UNIX格式的man帮助，里面有详细的curl工具的使用说明。
curl的用法为：curl [options] [URL...]
其中options是下载需要的参数，大约有80多个，curl的各个功能完全是依靠这些参数完成的。
具体参数的使用，用户可以参考curl的man帮助。
下面，本文就将结合具体的例子来说明怎样利用curl进行下载。


1、获得一张页面

使用命令：curl http://curl.haxx.se
这是最简单的使用方法。用这个命令获得了http://curl.haxx.se指向的页面，同样，如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地。如果下载的是HTML文档，那么缺省的将不显示文件头部，即HTML文档的header。要全部显示，请加参数 -i，要只显示头部，用参数 -I。任何时候，可以使用 -v 命令看curl是怎样工作的，它向服务器发送的所有命令都会显示出来。为了断点续传，可以使用-r参数来指定传输范围。

2、表单（Form）的获取


在WEB页面设计中，form是很重要的元素。Form通常用来收集并向网站提交信息。提交信息的方法有两种，GET方法和POST方法。先讨论GET方法，例如在页面中有这样一段：
<form  method="GET" action="junk.cgi">
<input type=text  name="birthyear">
<input type=submit name=press  value="OK">
</form>
那么浏览器上会出现一个文本框和一个标为“OK”的按钮。按下这个按钮，表单就用GET方法向服务器提交文本框的数据。
例如原始页面是在 www.hotmail.com/when/birth.html看到的，然后您在文本框中输入1905，然后按OK按钮，那么浏览器的URL现在应该是：“www.hotmail.com/when/junk.cgi?birthyear=1905&press=OK”
对于这种网页，curl可以直接处理，例如想获取上面的网页，只要输入：

curl "www.hotmail.com/when/junk.cgi?birthyear=1905&press=OK"

就可以了。

表单用来提交信息的第二种方法叫做POST方法，POST方法和GET方法的区别在于GET方法使用的时候，浏览器中会产生目标URL，而POST不会。类似GET，这里有一个网页：
<form  method="POST" action="junk.cgi">
<input type=text  name="birthyear">
<input type=submit name=press  value="OK">
</form>
浏览器上也会出现一个文本框和一个标为“OK”的按钮。按下这个按钮，表单用POST方法向服务器提交数据。

这时的URL是看不到的，因此需要使用特殊的方法来抓取这个页面：

curl -d "birthyear=1905&press=OK" www.hotmail.com/when/junk.cgi

这个命令就可以做到。
1995年年末，RFC  1867定义了一种新的POST方法，用来上传文件。主要用于把本地文件上传到服务器。此时页面是这样写的：
<form method="POST"  enctype='multipart/form-data' action="upload.cgi">
<input type=file  name=upload>
<input type=submit name=press  value="OK">
</form>

对于这种页面，curl的用法不同：
curl -F upload=@localfilename -F press=OK  URL

这个命令的实质是将本地的文件用POST上传到服务器。
有关POST还有不少用法，用户可以自己摸索。

3、使用PUT方法。

HTTP协议文件上传的标准方法是使用PUT，此时curl命令使用-T参数：
curl -T uploadfile www.uploadhttp.com/receive.cgi

4、有关认证。

curl可以处理各种情况的认证页面，例如下载用户名/密码认证方式的页面（在IE中通常是出现一个输入用户名和密码的输入框）：
curl -u  name:password www.secrets.com
如果网络是通过http代理服务器出去的，而代理服务器需要用户名和密码，那么输入：
curl -U proxyuser:proxypassword http://curl.haxx.se
任何需要输入用户名和密码的时候，只在参数中指定用户名而空着密码，curl可以交互式的让用户输入密码。


5、引用。

有些网络资源访问的时候必须经过另外一个网络地址跳转过去，这用术语来说是：referer，引用。
对于这种地址的资源，curl也可以下载：
curl -e http://curl.haxx.se daniel.haxx.se


6、指定用户客户端。

有些网络资源首先需要判断用户使用的是什么浏览器，符合标准了才能够下载或者浏览。
此时curl可以把自己“伪装”成任何其他浏览器：
curl -A "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)" URL

这个指令表示curl伪装成了IE5.0，用户平台是Windows  2000。（对方服务器是根据这个字串来判断客户端的类型的，所以即使使用AIX也无所谓）。
使用：
curl -A "Mozilla/4.73  [en] (X11; U; Linux 2.2.15 i686)" URL

此时curl变成了Netscape，运行在PIII平台的Linux上了。


7、COOKIES

Cookie是服务器经常使用的一种记忆客户信息的方法。如果cookie被记录在了文件中，那么使用命令：
curl -b  stored_cookies_in_file www.cookiesite.com
curl可以根据旧的cookie写出新cookie并发送到网站：
curl -b cookies.txt -c newcookies.txt www.cookiesite.com


8、加密的HTTP——HTTPS。


如果是通过OpenSSL加密的https协议传输的网页，curl可以直接访问：
curl https://that.secure.server.com


9、http认证。

如果是采用证书认证的http地址，证书在本地，那么curl这样使用：
curl -E mycert.pem https://that.secure.server.com


参考读物和注意事项：

curl非常博大，用户要想使用好这个工具，除了详细学习参数之外，还需要深刻理解http的各种协议与URL的各个语法。
这里推荐几个读物：

RFC 2616 HTTP协议语法的定义。
RFC 2396 URL语法的定义。
RFC 2109 Cookie是怎样工作的。
RFC  1867 HTTP如何POST，以及POST的格式。

文字

curl是免费软件，IBM公司对curl不提供技术支持。


curl官方网站:
        http://curl.haxx.se

 

 

 

 

Curl是Linux下一个很强大的http命令行工具，其功能十分强大。

1) 二话不说，先从这里开始吧！

$ curl http://www.linuxidc.com

回车之后，www.linuxidc.com 的html就稀里哗啦地显示在屏幕上了    ~

2) 嗯，要想把读过来页面存下来，是不是要这样呢？

$ curl http://www.linuxidc.com > page.html

当然可以，但不用这么麻烦的！

用curl的内置option就好，存下http的结果，用这个option: -o

$ curl -o page.html http://www.linuxidc.com

这样，你就可以看到屏幕上出现一个下载页面进度指示。等进展到100%，自然就 OK咯

3) 什么什么？！访问不到？肯定是你的proxy没有设定了。

使用curl的时候，用这个option可以指定http访问所使用的proxy服务器及其端口： -x

$ curl -x 123.45.67.89:1080 -o page.html http://www.linuxidc.com

4) 访问有些网站的时候比较讨厌，他使用cookie来记录session信息。

像IE/NN这样的浏览器，当然可以轻易处理cookie信息，但我们的curl呢？.....

我们来学习这个option: -D <— 这个是把http的response里面的cookie信息存到一个特别的文件中去

$ curl -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.linuxidc.com

这样，当页面被存到page.html的同时，cookie信息也被存到了cookie0001.txt里面了

5）那么，下一次访问的时候，如何继续使用上次留下的cookie信息呢？要知道，很多网站都是靠监视你的cookie信息，来判断你是不是不按规矩访问他们的网站的。

这次我们使用这个option来把上次的cookie信息追加到http request里面去： -b

$ curl -x 123.45.67.89:1080 -o page1.html -D cookie0002.txt -b cookie0001.txt http://www.linuxidc.com

这样，我们就可以几乎模拟所有的IE操作，去访问网页了！

6）稍微等等    ~我好像忘记什么了    ~

对了！是浏览器信息

有些讨厌的网站总要我们使用某些特定的浏览器去访问他们，有时候更过分的是，还要使用某些特定的版本     NND，哪里有时间为了它去找这些怪异的浏览器呢！？

好在curl给我们提供了一个有用的option，可以让我们随意指定自己这次访问所宣称的自己的浏览器信息： -A

$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.linuxidc.com

这样，服务器端接到访问的要求，会认为你是一个运行在Windows 2000上的 IE6.0，嘿嘿嘿，其实也许你用的是苹果机呢！

而"Mozilla/4.73 [en] (X11; U; Linux 2.2; 15 i686"则可以告诉对方你是一台 PC上跑着的Linux，用的是Netscape 4.73，呵呵呵

7）另外一个服务器端常用的限制方法，就是检查http访问的referer。比如你先访问首页，再访问里面所指定的下载页，这第二次访问的 referer地址就是第一次访问成功后的页面地址。这样，服务器端只要发现对下载页面某次访问的referer地址不是首页的地址，就可以断定那是个盗连了    ~

讨厌讨厌 ~我就是要盗连    ~！！

幸好curl给我们提供了设定referer的option： -e

$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -e "mail.linuxidc.com" -o page.html -D cookie0001.txt http://www.linuxidc.com

这样，就可以骗对方的服务器，你是从mail.linuxidc.com点击某个链接过来的了，呵呵呵

8）写着写着发现漏掉什么重要的东西了！——- 利用curl 下载文件

刚才讲过了，下载页面到一个文件里，可以使用 -o ，下载文件也是一样。比如，

$ curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG

这里教大家一个新的option： -O 大写的O，这么用：

$ curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG

这样，就可以按照服务器上的文件名，自动存在本地了！

再来一个更好用的。

如果screen1.JPG以外还有screen2.JPG、screen3.JPG、....、screen10.JPG需要下载，难不成还要让我们写一个script来完成这些操作？

不干！

在curl里面，这么写就可以了：

$ curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG

呵呵呵，厉害吧？！ ~

9）再来，我们继续讲解下载！

$ curl -O http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG

这样产生的下载，就是

~zzh/001.JPG

~zzh/002.JPG

...

~zzh/201.JPG

~nick/001.JPG

~nick/002.JPG

...

~nick/201.JPG

够方便的了吧？哈哈哈

咦？高兴得太早了。

由于zzh/nick下的文件名都是001，002...，201，下载下来的文件重名，后面的把前面的文件都给覆盖掉了 ~

没关系，我们还有更狠的！

$ curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG

—这是.....自定义文件名的下载？ —对头，呵呵！

这样，自定义出来下载下来的文件名，就变成了这样：原来： ~zzh/001.JPG —-> 下载后： 001-zzh.JPG 原来： ~nick/001.JPG —-> 下载后： 001-nick.JPG

这样一来，就不怕文件重名啦，呵呵

 

 

 

用途说明

curl命令是一个功能强大的网络工具，它能够通过http、ftp等方式下载文件，也能够上传文件。其实curl远不止前面所说的那些功能，大家可以通过man curl阅读手册页获取更多的信息。类似的工具还有wget。

curl命令使用了libcurl库来实现，libcurl库常用在C程序中用来处理HTTP请求，curlpp是libcurl的一个C++封装，这几个东西可以用在抓取网页、网络监控等方面的开发，而curl命令可以帮助来解决开发过程中遇到的问题。

常用参数

curl命令参数很多，这里只列出我曾经用过、特别是在shell脚本中用到过的那些。

-v/--verbose 小写的v参数，用于打印更多信息，包括发送的请求信息，这在调试脚本是特别有用。

-m/--max-time <seconds> 指定处理的最大时长

-H/--header <header> 指定请求头参数

-s/--slient 减少输出的信息，比如进度

--connect-timeout <seconds> 指定尝试连接的最大时长

-x/--proxy <proxyhost[:port]> 指定代理服务器地址和端口，端口默认为1080

-T/--upload-file <file> 指定上传文件路径

-o/--output <file> 指定输出文件名称

-d/--data/--data-ascii <data> 指定POST的内容

--retry <num> 指定重试次数

-e/--referer <URL> 指定引用地址

-I/--head 仅返回头部信息，使用HEAD请求

使用示例

示例一 获取指定网页

[root@jfht ~]# curl http://www.sunrisecorp.net/
< !DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
< html xmlns="http://www.w3.org/1999/xhtml">
< head>
< meta http-equiv="Content-Type" content="text/html; charset=gbk" />
< meta name="title" content="欢迎您 - 上海腾一" />
<meta name="keyword" content="上海腾一，融合通信，电子商务，语音通信，数据通信，基站工程外包托管，物联网，网站建设，电子商务解决方案，移动互联网，短信，彩信，呼叫中心，多方会议，PBX，IVR，电子商务策划方案，设备代维，网络优化，通信工程，电信增值，3G" />
< meta name="description" content="上海腾一信息技术有限公司专注于电信增值、通信工程、电子商务等领域，拥有近十年的经验。" />
<title>
欢迎您 - 上海腾一
</title>

插播一下广告：上海腾一信息技术有限公司是一家致力于通信工程、电子商务和电信增值业务的公司，请访问官方网址：http://www.sunrisecorp.net/。

此处省略掉网页内容。


</body>
< /html>[root@jfht ~]#

示例二 查看响应头信息

[root@jfht ~]# curl -I http://www.sunrisecorp.net/
HTTP/1.1 200 OK
Server: Apache-Coyote/1.1
Accept-Ranges: bytes
ETag: W/"17801-1285643951000"
Last-Modified: Tue, 28 Sep 2010 03:19:11 GMT
Content-Type: text/html
Content-Length: 17801
Date: Tue, 12 Oct 2010 12:49:20 GMT

[root@jfht ~]#

示例三 检查网页是否可正常访问

以下是一个tomcat监控脚本的部分内容。

Bash代码 复制代码 收藏代码
  1. # usage: check_once <port> <path> 
  2. # 使用curl检查网页是否可以正常访问，如果不能访问就重启tomcat。 
  3. check_once() 
  4. { 
  5.         echo 
  6.         echo "$(date)  Tomcat check once" 
  7.         # 2008.08.21 -I/--head -s/--silent 
  8.         #if curl -s -I --connect-timeout 5 --max-time10 http://localhost:$1/; then 
  9.         # 2010.02.16 add200 OK test 
  10.         if curl -s -I --connect-timeout 5 --max-time10 http://localhost:$1/$2 | grep -q'200 OK'; 
  11.  
  12.  
  13. then 
  14.                 echo "$(date)  Tomcat maybe OK" 
  15.         else 
  16.                 echo "$(date)  Tomcat maybe FAULT" 
  17.                 restart 
  18.         fi 
  19. } 
  20.  
  21. # usage: check_loop <port> <path> 
  22. # 每隔一分钟检查一次网页是否正常 
  23. check_loop() 
  24. { 
  25.         while true; 
  26.         do 
  27.                 sleep 60 
  28.                 check_once $1 $2 >> $CATALINA_HOME/logs/check.$(date +%Y-%m-%d).log 
  29.         done 
  30. } 
  31.  
  32. # usage: monitor <path> 
  33. # 对path指定的本机网页进行监控 
  34. # 2008.06.26 
  35. # 2010.09.20 add path parameter 
  36. monitor() 
  37. { 
  38.         PORT=80 
  39.         if grep 'Connector port="80"' $CATALINA_HOME/conf/server.xml; then 
  40.                 PORT=80 
  41.         elif grep 'Connector port="8080"' $CATALINA_HOME/conf/server.xml; then 
  42.                 PORT=8080 
  43.         else 
  44.                 echo "Cannot detect server port for Tomcat" 
  45.                 return 12 
  46.         fi 
  47.         echo "Tomcat server port is $PORT" 
  48.  
  49.         if status; then 
  50.                 check_loop $PORT "$1" & 
  51.                 #check_loop $PORT "$1" 
  52.         fi 
  53. } 
  54.   

这个脚本的执行方式是 monitor <path>，比如monitor main/index.html。下面是执行时输出的日志信息片段。

2010年 10月 09日 星期六 15:20:38 CST  Tomcat check once
2010年 10月 09日 星期六 15:20:46 CST  Tomcat maybe OK

2010年 10月 09日 星期六 15:21:46 CST  Tomcat check once
2010年 10月 09日 星期六 15:21:57 CST  Tomcat maybe FAULT
Tomcat is now running, not stopped: 0
Tomcat is now running, not stopped: 1
Tomcat is now running, not stopped: 2
Tomcat is now running, not stopped: 3
Tomcat is now running, not stopped: 4
Tomcat is now running, not stopped: 5
Tomcat is now running, not stopped: 6
Tomcat is now running, not stopped: 7
Tomcat is now running, not stopped: 8
Tomcat is now running, not stopped: 9
Tomcat killed use SIGKILL
Tomcat stopped
      Starting tomcat

2010年 10月 09日 星期六 15:23:09 CST  Tomcat check once
2010年 10月 09日 星期六 15:23:09 CST  Tomcat maybe OK

2010年 10月 09日 星期六 15:24:09 CST  Tomcat check once
2010年 10月 09日 星期六 15:24:09 CST  Tomcat maybe OK

示例四 另一个检查网页是否正常的脚本

Bash代码 复制代码 收藏代码
  1. # 要检查的网页地址 
  2. URL="http://www.sunrisecorp.net/" 
  3.  
  4. # usage:  
  5. curlit() 
  6. { 
  7.         curl --connect-timeout 15 --max-time30 --head --silent "$URL" | grep'HTTP/1.1 200 OK' 
  8. } 
  9.  
  10. # 只有MIN_ALARM次访问失败时才告警 
  11. MIN_ALARM=10 
  12.  
  13. #  
  14. doit() 
  15. { 
  16.     echo "===== $(now) =====" 
  17.     if ! curlit; then 
  18.             echo "$(now)  bbdx nss access failed" 
  19.             N=1 
  20.             if [ -e curlit_error ]; then 
  21.                     N="$(cat curlit_error)" 
  22.                     N=$[N+1] 
  23.             fi 
  24.             echo "$(now)  N=$N" 
  25.             echo $N >curlit_error 
  26.             if [ "$N" == "$MIN_ALARM" ]; then 
  27.                     echo "$(now)  do notify" 
  28.                     touch curlit_error 
  29.                     notify_curlit_error 
  30.             fi 
  31.     else 
  32.             if [ -e curlit_error ]; then 
  33.                     echo "$(now)  recovered" 
  34.                     N=$(cat curlit_error) 
  35.                     echo "$(now)  N=$N" 
  36.                     rm -f curlit_error 
  37.                     if [ "$N" -ge "$MIN_ALARM" ]; then 
  38.                             notify_curlit_recovered 
  39.                     fi 
  40.             fi 
  41.     fi 
  42. } 
  43.  
  44. doit >>log/curlit.log 2>&1 
  45.   

示例五 使用HttpPost上传数据

一个用于http post的脚本。

Bash代码 复制代码 收藏代码
  1. #!/bin/sh 
  2.  
  3. MS=1350514xxxx 
  4.  
  5. TM=$(date +"%Y%m%d%H%M%S") 
  6. DT=$(date +"%Y%m%d") 
  7.  
  8. cat <<EOF >reqtmp.xml 
  9. <?xml version="1.0" encoding="GBK" ?> 
  10. <OwnPlatForm> 
  11.         <OrigDomain>QZT</OrigDomain> 
  12.         <HomeDomain>BOSS</HomeDomain> 
  13.         <ActivityCode>T5100001</ActivityCode> 
  14.         <ActionCode>0</ActionCode> 
  15.         <TransIDO>$TM</TransIDO> 
  16.         <TransIDH></TransIDH> 
  17.         <ProcessTime>$TM</ProcessTime> 
  18.         <CutOffDay>$DT</CutOffDay> 
  19.         <TestFlag>0</TestFlag> 
  20.         <Content> 
  21.                 <![CDATA[ 
  22.                         <BizProcReq> 
  23.                                 <IDType>01</IDType> 
  24.                                 <IDValue>$MS</IDValue> 
  25.                                 <UserCity>14</UserCity> 
  26.                                 <UserCounty>1419</UserCounty> 
  27.                                 <OprCode>01</OprCode> 
  28.                                 <BizType>51</BizType> 
  29.                                 <OprTime>$TM</OprTime> 
  30.                                 <OprSrc>27</OprSrc> 
  31.                                 <ProductInfo> 
  32.                                         <PrdCode>510001</PrdCode> 
  33.                                 </ProductInfo> 
  34.                         </BizProcReq> 
  35.                 ]]> 
  36.         </Content> 
  37. </OwnPlatForm> 
  38. EOF 
  39.  
  40. cat reqtmp.xml 
  41.  
  42.  
  43. URL="http://10.32.140.230:7092/fcgi-bin/UIG_NEWINT" 
  44.  
  45. curl --verbose --upload-file reqtmp.xml  --header "Content-Type: text/xml" "$URL" --output rsptmp.xml 
  46.  
  47. cat rsptmp.xml 

示例六 使用proxy的脚本

Bash代码 复制代码 收藏代码
  1. # usage: do_sync_once <mobile> <codes> <area_id> <opening> 
  2. do_sync_once() 
  3. { 
  4.         mobile=$1 
  5.         codes=$2 
  6.         area_id=$3 
  7.         opening=$4   
  8.          
  9.  
  10.  
  11. curl --silent --max-time 60 --proxy http://10.32.187.170:8080"http://host/boss/sync.jsp?seq=1251747862492&mobile=$mobile&serviceCodes=$codes&areaId=$area_id&opening=$opening" 
  12.  
  13. } 

示例七 使用Google AJAX Search API进行搜索

Bash代码 复制代码 收藏代码
  1. # usage: google_search <STR> 
  2. # Google搜索 
  3. google_search() 
  4. { 
  5.         REF="http://codingstandards.iteye.com/" 
  6.         KEY="ABQIAAAAHg_ENG5Yq9pOZd19v64gyxTMcdcN4KfyGCBxustvF1FXdNe4WBQOej_ZiBgIK6-a4M3hTxcVfSkt2g" 
  7.         STR="$1" 
  8.         # 采用网页搜索 
  9.         curl --retry 5 -e "$REF""http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=$STR&hl=zh-CN&key=$KEY"2>/dev/null 
  10.         # 采用博客搜索 
  11.         #curl -e $REF "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN"2>/dev/null 
  12.         #curl --retry 5 -e $REF "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN"2>/dev/null 
  13.         #curl --retry 5 -e "$REF""http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN&key=$KEY"2>/dev/null 
  14. } 
tiandishenyou
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【CentOS7】使用命令行访问网站的工具cURL
qu6zhi
03-29 7611
【CentOS7】使用命令行访问网站的工具cURL 简介 curl 是瑞典 curl 组织开发的，您可以访问: http://curl.haxx.se/ 获取它的源代码和相关说明。 支持很多协议： FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。 curl 同样支持 HTTPS 认证，HTTP POST 方法, ...
在linux下使用curl访问
longwords的专栏
11-30 821
一、在Crontab中使用PHP执行脚本 就像在Crontab中调用普通的shell脚本一样（具体Crontab用法），使用PHP程序来调用PHP脚本。 每一小时执行myscript.php如下： # crontab -e 00 * * * * /usr/local/bin/php /home/john/myscript.php /usr/local/bin/php为PHP程序的路径。 二、在Crontab中使用URL执行脚本 如果你的PHP脚本可以通过URL触发，你可以使用lynx或cur.
linux命令行访问webservice,curl验证,调用webservice接口
weixin_42489088的博客
05-03 2431
概要：wsdl规范的webservice使用的比较广泛，尤其是在异构系统中进行数据交换。验证webserivce的可用性,进而调用webservice的方法，大家都有自己的见解。客户端调用遵循wsdl规范的远程webservice服务，发送请求时本质上是http请求，这就为直接通过发送http请求，调用webservic服务提供了理论基础。说说自己的方法。我们将实际的运行环境，分为本地和线上本地，...
windows下的安装与使用curl实现命令行访问Web网站
oscar999的专栏
07-10 9275
在Windows下使用curl访问Web链接 curl是什么？ curl的写法应该是cURL,CommandLine Uniform Resource Locator。从名字可以看出，其是使用命令行访问URL的工具。除了HTTP协议外， 其还支持HTTPS、FTP、Telnet、LDAP等其他协议， 支持文件上传和下载等功能。 Linux自带curl工具， 直接在命令行输入： curl URL地址...
Linux命令行工具：curl详解（与服务器之间传输数据）
weixin_70208651的博客
06-21 1651
Linux(centos)下的curl工具是一个功能强大、用于与服务器之间传输数据的命令行工具。支持许多常见协议，如HTTP/HTTPS/FTP等。curl命令在开发、测试和日常使用中广泛使用，它可以帮助用户检查服务器的响应、上传或下载数据，以及进行各种网络相关的操作。curl 的选项非常丰富，可以根据不同的需求进行组合使用。此外，curl 还支持自定义请求头、处理 JSON、XML 等数据格式，以及通过脚本进行更复杂的操作。进行网络开发、测试，还是进行日常的网络操作，curl都能提供极大的便利和灵活性。
linux命令行下使用curl命令查看自己机器的外网ip
09-15
在Linux操作系统中，命令行工具是进行系统管理、网络诊断和数据传输的重要方式。`curl`（客户端URL）就是这样一个工具，它允许用户通过命令行从URL获取数据，包括文件、网页内容等。在本场景中，我们使用`curl`命令...
Linux 命令行工具解析和格式化输出 JSON的方法
09-14
本文将详细介绍如何使用Linux命令行工具来解析和格式化输出JSON。 首先，让我们理解什么是格式化输出。格式化输出，也称为“pretty print”，是指将JSON数据转换成更易读的格式，通常包括缩进和换行，以便于人类...
CURL在win和linux下详细教程
10-21
【CURL 在 Win 和 Linux 下的详细教程】 CURL 是一个强大的命令行工具，用于传输数据，支持多种协议，如 HTTP、HTTPS、FTP、FTPS 等。无论是 Windows 还是 Linux 操作系统，CURL 都可以方便地进行网络数据的抓取和...
linux curl命令详解及实例分享
09-15
Linux中的`curl`命令是一个强大的命令行工具，用于从服务器获取或向服务器发送数据，它基于libcurl库，可以处理各种网络协议，如HTTP、HTTPS、FTP、FTPS等。`curlpp`是libcurl库的C++封装，提供更方便的C++接口。 *...
Linux-curl 命令用法大总结.docx
10-22
Linux中的curl命令是一个非常强大的工具，它允许用户在命令行环境下执行HTTP、FTP、SMTP等协议的网络操作，包括文件的下载和上传。这个命令在系统管理、自动化脚本和远程数据交互中扮演着重要角色。以下是curl命令的...
源代码-创意互动网站导航（ASP静态版） v1.0.zip
08-24
源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip 源代码-创意互动网站导航（ASP静态版） v1.0.zip
java源码资源很不错的Java计算器java源码资源很不错的Java计算器
08-24
java源码资源很不错的Java计算器java源码资源很不错的Java计算器提取方式是百度网盘分享地址
源代码-补单系统 v1.0.zip
08-24
源代码-补单系统 v1.0.zip
java源码资源网络蚂蚁Java版java源码资源网络蚂蚁Java版
08-24
java源码资源网络蚂蚁Java版java源码资源网络蚂蚁Java版提取方式是百度网盘分享地址
数字万用表使用介绍.mp4
08-24
数字万用表使用介绍.mp4
SAP 客户主数据导入程序模板
08-24
客户主数据导入模板
基于springboot和vue的 闲置图书分享源码 闲置图书分享代码（高分毕设项目源码）
08-24
1. 闲置图书分享代码说明：经导师指导并认可通过的98分毕设项目代码。 2.适用对象：本代码学习资料适用于计算机、电子信息工程、数学等专业正在做毕设的学生，需要项目实战练习的学习者，也适用于课程设计、期末大作业。 3.技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 4. 作者介绍：大厂码农，java领域创作者，阿里云开发社区乘风者计划专家博主，专注于大学生项目实战开发，文章底部有博主联系方式，更多优质系统、项目定制请私信。 5. 最新计算机软件毕业设计选题大全: https://blog.csdn.net/weixin_45630258/article/details/135901374
资源androidioswinOpenOpenCV3.4.11
最新发布
08-24
资源androidioswinOpenOpenCV3.4.11提取方式是百度网盘分享地址
opencvimage源码所需软件源码opencvimage源码所需软件源码
08-24
opencvimage源码所需软件源码opencvimage源码所需软件源码提取方式是百度网盘分享地址
cURL命令行工具详解
cURL是一个强大的命令行工具，用于在各种协议之间传输数据，包括HTTP、HTTPS、FTP、FTPS、SCP、SFTP、TFTP、DICT、TELNET、LDAP和FILE。它的设计目标是能够在无需用户交互的情况下执行任务，使得自动化数据传输变得...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值