使用Curl命令获取网站Web服务器类

最新推荐文章于 2024-06-21 23:46:05 发布
最新推荐文章于 2024-06-21 23:46:05 发布
阅读量7.8k 收藏 1
点赞数
分类专栏： linux 文章标签： web服务 unix apache server website nginx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kozazyh/article/details/5366305
版权

Curl是一款用于在网络上传输数据的工具，支持HTTP, HTTPS, FTP, FTPS, TFTP, DICT,TELNET,LDAP等协议。通过curl你既可以将服务器的数据下载下来，也可以将本地的数据上传到服务器。curl的选项很多，大家可以参考curl manual。

最简单的用法，获取一个网站页面的源代码:

[root@linuxorz ~]# curl www.g.cn
<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>301 Moved</TITLE></HEAD><BODY>
<H1>301 Moved</H1>
The document has moved
<A HREF="http://www.google.cn/webhp?source=g_cn">here</A>.
</BODY></HTML>
[root@linuxorz ~]# curl www.google.cn

 言归正传，下面将告诉大家如何使用-Is选项来获取网站的web服务器类型。
-I :获取网站的HTTP-header信息
-s :静默模式。不显示进度及错误信息
--connect-timeout ：设置连接超时秒数

[root@linuxorz ~]# curl -Is www.163.com
HTTP/1.0 200 OK
Server: nginx
Date: Fri, 08 Jan 2010 14:40:23 GMT
Content-Type: text/html; charset=GBK
Vary: Accept-Encoding
Expires: Fri, 08 Jan 2010 14:41:43 GMT
Cache-Control: max-age=80
Vary: User-Agent
Vary: Accept
X-Cache: MISS from cache.163.com
Connection: close

首先创建一个site.txt文件，里面输入相应的网站。

[root@linuxorz ~]# head site.txt
www.google.com
www.baidu.com
youa.baidu.com
post.baidu.com
hi.baidu.com
www.sogou.com
www.youdao.com
www.soso.com
www.sohu.com
www.sina.com

之后结合下面的curl.sh脚本，就可以获知site.txt中网站的服务器类型了。

#!/bin/sh
IIS=0
nginx=0
apache=0
other=0
if [ ! -f site.txt ]; then
   echo "ERROR:site.txt NOT exists!"
exit 1
fi

total=`wc -l site.txt|awk '{print $1}'`
for website in `cat site.txt`
do
   server=`curl -Is --connect-timeout 15 $website|awk -F":" '/^Server:/{print $2}'`
   echo -e $website":" $server
   if echo $server|grep -i "IIS">/dev/null
     then IIS=`expr $IIS + 1`
   elif echo $server|grep -i "Apache">/dev/null
     then Apache=`expr $Apache + 1`
   elif echo $server|grep -i "nginx">/dev/null
     then nginx=`expr $nginx + 1`
   else other=`expr $other + 1`
   fi
done
echo "--------------------------------------------"
echo -e "Total/tApache/tIIS/tnginx/tother"
echo -e "$total/t$Apache/t$IIS/t$nginx/t$other"
echo -e "100%/t"`echo "scale=5;$Apache/$total*100"|bc|cut -c1-5`"%/t"`echo "scale=5;$IIS/$total*100"|bc|cut -c1-5`"%/t"`echo "scale=5;$nginx/$total*100"|bc|cut -c1-5`"%/t"`echo "scale=5;$other/$total*100"|bc|cut -c1-5`"%/t"
echo "--------------------------------------------"
exit 0

输出结果：

root@linuxorz ~]# bash curl.sh
www.google.com: gws
www.baidu.com: BWS/1.0
youa.baidu.com: Apache
post.baidu.com: apache 2.7.18.0
hi.baidu.com: apache 1.1.26.0
www.sogou.com: Apache
www.youdao.com: nginx
www.soso.com: SWS/1.0
www.sohu.com: SWS
www.sina.com: Apache/2.0.54 (Unix)
www.ifeng.com: DnionOS/1.0
www.alibaba.com: Apache/2.0.59 (Unix) mod_AliCookie(for apache2.x)/1.1 aliBeacon/1.0 mod_jk/1.2.25
www.163.com: nginx
www.126.com: Apache
www.263.com: Microsoft-IIS/6.0
www.tom.com: Apache
www.qq.com: nginx/0.6.39
qzone.qq.com: Apache
www.hotmail.com: Microsoft-IIS/6.0
www.wordpress.com: nginx
mail.163.com: Apache
mail.sina.com: Apache/2.2.9 (FreeBSD) mod_ssl/2.2.9 OpenSSL/0.9.7e-p1 PHP/5.2.6 with Suhosin-Patch
mail.tom.com: Apache/1.3.41 (Unix)
blog.sina.com: nginx/0.7.62
blog.sohu.com: nginx
blog.163.com: nginx
blog.hexun.com: Microsoft-IIS/6.0
www.hackbase.com: Microsoft-IIS/6.0
www.mydrivers.com: Microsoft-IIS/6.0
www.enet.com.cn: Apache
www.cnzz.com: Apache/2.2.4 (Unix) PHP/5.2.4
www.soufun.com: BIG-IP
www.chinaz.com: Microsoft-IIS/6.0
www.51la.com: nginx/0.6.35
www.download.com: Apache/2.2
www.godaddy.com: Microsoft-IIS/6.0
www.answers.com: Apache
www.sourceforge.net: BigIP
www.gmail.com: gws
www.msn.com: Microsoft-IIS/6.0
www.cctv.com: Apache
www.xinhuanet.com: Apache
www.renren.com: nginx/0.7.64
www.kaixin001.com: Apache
www.hao123.com: lighttpd
www.114la.com: Apache
www.douban.com: nginx
www.wikimedia.com: Apache/1.3 (Unix) mod_ssl/2.8.28 OpenSSL/0.9.8f AuthPG/1.3 FrontPage/5.0.2.2635
www.jiangmin.com: DnionOS/1.0
www.rising.com.cn: Microsoft-IIS/6.0
www.kaspersky.com: nginx/0.8.15
www.kingsoft.com: Apache/2.0.53
www.avast.com: Apache
www.360.cn: Apache
www.micropoint.com.cn: Apache
www.free-av.com: Apache
www.avg.com: Apache
www.hexun.com: nginx
www.eastmoney.com: Microsoft-IIS/6.0
www.chinahr.com: Microsoft-IIS/6.0
www.51job.com: Apache/2.2.8 (Unix) PHP/5.2.5
www.zhaopin.com: Apache/1.3.37 (Unix)
www.taobao.com: Apache
www.paipai.com: nginx
www.dangdang.com: nginx/0.6.37
www.youku.com: Apache
www.tudou.com: tws/0.1
www.ku6.com: Apache
6.cn: nginx/0.6.14
www.cntv.cn: Apache
media.17173.com: Apache
www.gougou.com: Apache/2.2.8 (Unix) mod_fastcgi/2.4.6
www.xunlei.com: nginx/0.7.62
www.verycd.com: Apache
www.pps.tv: PPStream
www.tianya.cn: Microsoft-IIS/5.0
dzh.mop.com: Resin/3.0.19
www.pconline.com.cn: nginx
www.zol.com.cn: Apache
www.pcpop.com: Microsoft-IIS/6.0
www.it168.com: Microsoft-IIS/6.0
www.newhua.com: Microsoft-IIS/6.0
www.skycn.com: Apache
www.crsky.com: Microsoft-IIS/6.0
www.csdn.net: CWS/1.0.64
www.chinaitlab.com: Microsoft-IIS/6.0
www.51.com: Apache
www.58.com: Microsoft-IIS/6.0
www.jiayuan.com: nginx/0.7.62
www.marry5.com: Apache
www.icbc.com.cn: Microsoft-IIS/6.0
www.abchina.com: Microsoft-IIS/7.5
www.ccb.com: Apache
www.boc.cn: Microsoft-IIS/7.0
www.bankcomm.com: IBM_HTTP_SERVER
www.ebay.com: Apache-Coyote/1.1
www.myspace.com: Microsoft-IIS/7.5
www.aol.com: Apache-Coyote/1.1
www.cnn.com: Apache
www.reuters.com: Apache
www.wto.org: Microsoft-IIS/6.0
www.who.org: nginx/0.6.35
www.gov.cn: Apache
www.court.gov.cn: Apache/2.0.52 (CentOS)
www.moe.edu.cn: Apache/2.0.54 (Unix) mod_jk2/2.0.4
www.mps.gov.cn: IBM_HTTP_Server/6.0.2.23 Apache/2.0.47 (Win32)
www.most.gov.cn: Microsoft-IIS/6.0
www.pbc.gov.cn: Microsoft-IIS/6.0
www.moh.gov.cn: Apache/2.0.59 (Win32)
www.ccnt.gov.cn: Microsoft-IIS/6.0
www.mof.gov.cn: Apache/2.0.59 HP-UX_Apache-based_Web_Server (Unix) DAV/2
www.mod.gov.cn: Apache
www.microsoft.com: Microsoft-IIS/7.5
www.microsoft.com.cn: Microsoft-IIS/7.0
www.centos.org: Apache/2.0.52 (CentOS)
www.redhat.com: Apache
www.ubuntu.com: Apache/2.2.8 (Ubuntu) mod_python/3.3.1 Python/2.5.2 PHP/5.2.4-2ubuntu5.9 with Suhosin-Patch mod_ssl/2.2.8 Ope
nSSL/0.9.8g
www.gentoo.org: Apache
www.debian.org: Apache/2.2.9 (Debian) mod_ssl/2.2.9 OpenSSL/0.9.8g
www.novell.com: Apache
www.slackware.com: Apache/1.3.27 (Unix) PHP/4.3.1
www.opensuse.org: Apache/2.2.10 (Linux/SUSE)
www.wikipedia.org: Apache
www.hp.com: Apache
www.dell.com: Microsoft-IIS/7.0
www.hitachi.com: Apache/2.2.11 (Unix) mod_ssl/2.2.11 OpenSSL/0.9.7d
www.toshiba.com: Sun-ONE-Web-Server/6.1
www.nokia.com: "Nokia"
www.sony.com: Apache
www.intel.com: IA Web Server/1.0
www.amd.com: AkamaiGHost
www.nvidia.com: Microsoft-IIS/6.0
www.sun.com: Sun-Java-System-Web-Server/7.0
www.ibm.com: IBM_HTTP_Server
--------------------------------------------
Total   Apache  IIS     nginx   other
134     64      30      19      21
100%    47.76%  22.38%  14.17%  15.67%
--------------------------------------------

统计的结果，似乎和实际使用情况还有些相近。是不是很简单

大飞哥2
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
GOOGLE服务地址入口
晓斌的博客
03-08 8724
收集于互联网络Google Ad Sense https://www.google.com/adsense/Google AdWords https://adwords.google.com/selectGoogle分析 http://google.com/analytics/Google问答 http://answers.google.com/GoogleBase http://base.g
查看web服务器类型
邢文鹏 Linux 传智播客
12-04 3991
利用curl小工具可以查看web站点的服务器类型。 curl --head  网址 xingwenpeng@ubuntu:~/Desktop/project/nginx-1.6.2/contrib$ curl --head www.sina.com.cn HTTP/1.1 200 OK Server: nginx Date: Thu, 04 Dec 2014 02:05:58 GMT
Linux系统中curl命令用法详解
热门推荐
IT之一小佬的博客
11-26 3万+
Linux系统中curl命令用法详解
解决谷歌浏览器打开空白标签页自动跳转https://www.google.com.hk/webhp?ie=UTF-8&gws_rd=cr&rct=j
码上暴富
12-25 2万+
最近使用谷歌浏览器的时候，打开空白的新标签页都会自动跳转到https://www.google.com.hk/webhp?ie=UTF-8&amp;gws_rd=cr&amp;rct=j，终于在找到了好的解决方案。 解决方案： 点击一下http://www.google.com/ncr就好了，意思是不要区域重定向 源地址：https://steamcn.com/t448341-1-1...
Linux命令行工具：curl详解（与服务器之间传输数据）
最新发布
weixin_70208651的博客
06-21 1533
Linux(centos)下的curl工具是一个功能强大、用于与服务器之间传输数据的命令行工具。支持许多常见协议，如HTTP/HTTPS/FTP等。curl命令在开发、测试和日常使用中广泛使用，它可以帮助用户检查服务器的响应、上传或下载数据，以及进行各种网络相关的操作。curl 的选项非常丰富，可以根据不同的需求进行组合使用。此外，curl 还支持自定义请求头、处理 JSON、XML 等数据格式，以及通过脚本进行更复杂的操作。进行网络开发、测试，还是进行日常的网络操作，curl都能提供极大的便利和灵活性。
用Java 构建您自己的HTTP 服务器（仅限 GET 方法）
allway2的博客
09-13 961
整个互联网使用频率最高的协议之一* * 在 OSI 模型中，第 7 层 每次访问网站时，您的 Web 浏览器都会使用HTTP协议与 Web服务器通信并获取页面内容。此外，当您实现后端应用程序并且必须与其他后端应用程序通信时 - 80%（或更多）的情况下您将使用HTTP. 长话短说——当你想成为一名优秀的软件开发人员时，你必须了解HTTP协议的工作原理。我认为，连接HTTP服务器是一种很好的理解方式。 Web 浏览器向 Web服务器发送什么？ 好问题。当然，您可以使用“开发人员工具”...
如何查看web服务器的名称和版本号
fulerbakesi
04-26 2294
/********************************************************************* * Author : Samson * Date : 04/26/2012 * Test platform: * GNU Linux version 2.6.29.4 * gcc version 4.4.0 20090506 (Red Hat ...
java--curl工具，用于生成curl链接，直接在服务器上使用
02-01
在Spring Cloud框架中，尤其是与Feign集成时，Curl工具的实现可以帮助开发者便捷地获取到能够复现服务间调用的curl命令，这对于理解和调试分布式系统的交互非常有帮助。 `CurlAspect`类通常是Spring AOP（面向切面...
curl命令详解使用文档
04-29
- 文件下载与上传：从Web服务器获取或上传文件，尤其适合处理大文件。 - API测试：调试RESTful API，验证数据传输和响应格式。 - 网络监控：分析服务器响应时间、状态码等信息。 - 数据抓取：从网页中提取结构化或非...
nginx 隐藏版本号与WEB服务器信息的解决方法
09-30
在网络安全日益重要的今天，隐藏服务器信息，特别是像Nginx这样的Web服务器的版本号，是一项基本的安全措施。这是因为，公开的版本信息可能会暴露服务器的弱点，让潜在的攻击者了解其可能存在的漏洞，从而有针对性地...
使用curl操作openstack swift.docx
01-02
### 使用curl操作OpenStack Swift详解 #### 一、概述 在云计算领域，OpenStack作为一款开源的云操作系统，提供了丰富的功能和服务。其中Swift是OpenStack项目中的一个子项目，主要负责提供对象存储服务，用于存储...
go gin web框架文件上传，可以使用curl进行上传文件
07-06
为了测试这个文件上传接口，我们可以使用curl命令。curl是一个强大的命令行工具，常用于与HTTP服务器交互。下面是如何使用curl上传文件的示例： ```bash curl -X POST -F 'file=@/path/to/your/local/file' ...
谷歌快捷键搜索常用方法详细介绍
网络小虾
08-14 2014
谷歌中国黑客专业进入网址：https://www.google.com.hk/webhp?hl= intext:关键词（查找包含关键词的网站） intitle:关键词（网页标题含有关键词） cache:网址（查看网站的快照） define:关键词（关键词的定义） filetype:doc（信息安全 filetype:doc） info:网址（查看网站的基本信息） inurl:mov...
Go_实现HTTP请求和响应
itzhuzhu的博客
02-17 3591
Golang——HTTP编程请求和响应实现
将搜索引擎从google.com/hk修改为google.com
onpwerb的博客
08-19 4292
1   登录谷歌账号 2  默认搜索语言为英文 3  默认搜索引擎为： https://www.google.com/search?hl=en-US&source=hp&q=%s&aq=f&aqi=&aql=&oq=&gs_rfai= 4  使用一次 https://www.google.com/ncr  搜索
如何正确的打开google
just do IT
07-05 8759
Google 提供了 SSL（HTTPS） 搜索功能（https://www.google.com），可以保护用户的搜索关键字和搜索结果不被ISP等第三方机构拦截、窃取，不被墙连接重置。 　　国内用户访问 https://www.google.com 默认情况下会跳转到谷歌香港 http://www.google.com.hk，解决方法为先点击“Google.com in English“
centos curl web站点监控实践
weixin_33972649的博客
04-11 107
1,监控给定web站点的状态--站点请求返回代码,下载整个web站点页面文本到-o 指定的文本 curl -o /dev/null -s-silent -w--wirte-out "%{http_code}" "http://baidu.com"; 2,开启gizp 3,curl监控网页响应时间 curl -o /dev/null -s -w "time_connect: %{ti...
Google如何让WWW.GOOGLE.COM作为你的首页
IntelligenceXenogeneicRobot
08-29 1532
设置为： http://www.google.com/webhp?hl=zh-CN 你懂得！~
linux curl命令详解
06-28
### 回答1： curl是什么？ curl是一个命令行工具，用于从URL地址获取数据。它可以用来发送HTTP、HTTPS、FTP等请求，并且可以获取返回的数据。curl是一个非常强大的工具，可以用来测试Web服务器的响应，模拟HTTP请求等。 curl命令的语法 curl命令的语法如下： curl [options] [URL] 其中，options是可选的参数，URL是要请求的地址。 curl常用选项 curl有很多可选参数，下面是一些常用的选项： -d：提交数据，例如：curl -d "name=value" URL。 -G：以GET方式提交数据，例如：curl -G URL。 -H：添加请求头，例如：curl -H "Content-Type: application/json" URL。 -i：显示响应头信息，例如：curl -i URL。 -L：跟随重定向，例如：curl -L URL。 -o：将响应数据写入文件，例如：curl -o file.txt URL。 -X：指定请求方法，例如：curl -X POST URL。 curl命令示例 下面是一些常见的curl命令示例： 获取网页内容：curl URL。 发送GET请求：curl -G URL。 发送POST请求：curl -X POST -d "name=value" URL。 获取响应头信息：curl -i URL。 跟随重定向：curl -L URL。 将响应数据写入文件：curl -o file.txt URL。 总的来说，curl是一个非常强大的命令行工具，可以用来发送各种请求，并且可以获取返回的数据。如果你需要测试Web服务器的响应，或者模拟HTTP请求，那么curl命令是一个非常好的选择。 ### 回答2： Linux curl命令是一个非常强大的命令行工具，用于向服务器发送网络请求，支持多种协议，如HTTP、HTTPS、FTP、SMTP等。它可以下载文件、上传数据、获取服务器响应、处理Cookie等，同时支持各种不同的参数和选项，具有丰富的功能。 curl的基本用法为： ```curl [选项] [URL]``` 其中，选项用于控制curl请求的方式和行为。常用的选项包括： - `-X/--request [请求方法]`：设置请求的方法，如GET、POST、PUT、DELETE等； - `-H/--header [头信息]`：设置请求头信息； - `-d/--data [请求体数据]`：设置请求体数据，常用于POST请求； - `-o/--output [输出文件名]`：将请求结果输出到指定文件； - `-v/--verbose`：显示更详细的调试信息； - `-c/--cookie [cookie文件名]`：设置cookie文件名，用于保持会话状态； - `-b/--cookie-jar [cookie文件名]`：将服务器返回的cookie信息保存到指定文件中。 除了这些常用选项，curl还支持很多其他的选项，可以根据具体需求进行设置。 curl除了基本使用方式外，还有其他常用功能，包括： - 文件下载：使用`-o`选项配合`-O`选项，可以将服务器文件下载到本地，例如`curl -O http://example.com/file.txt`； - 多文件下载：使用`-O`选项加上多个URL，可以同时下载多个文件，例如`curl -O http://example.com/file1.txt -O http://example.com/file2.txt`； - 文件上传：使用`-F`选项加上文件路径，可以将指定文件上传到服务器，例如`curl -F "file=@/path/to/file" http://example.com/upload`； - 认证操作：使用`-u`选项可以设置用户名和密码，实现HTTP基本认证，例如`curl -u username:password http://example.com`； - 代理设置：使用`-x`选项可以设置代理服务器，例如`curl -x http://proxy.example.com http://example.com`； 总之，curl是一款非常强大的命令行工具，在使用时需要熟练掌握各种选项的用法，才能发挥出它的效果。同时，对于curl用法不熟悉的用户，可以通过查看官方文档或其他优秀教程来加深理解，从而更好地使用这个工具。 ### 回答3： curl命令是一个十分有用的Linux命令，它可以通过命令行方式发送HTTP请求，包括GET，POST等请求方法，也支持cookie，用户名密码认证，HTTPS等一系列功能，非常适合对Web服务进行测试和调试。 使用curl发送请求的基本格式为：curl [options] [URL]，其中URL为请求的目标资源的URL地址，而options则表示请求时需要设置的配置信息。 以下是常用的curl配置选项： 1. -X (--request): 指示请求方法，常用的方法包括 GET、POST 等。 2. -H (--header): 设置请求头，常见的请求头包括 User-Agent、Content-Type等。 3. -d (--data): 表示要发送的数据，如表单数据、JSON 数据等。 4. -F (--form): 表示要上传的文件，可以上传多个文件。 5. -u (--user): 指定用户名和密码，用于 HTTP 基本认证。 6. -c (--cookie): 表示请求中携带的 Cookie 值。 7. -o (--output): 将响应输出到指定文件中。 8. -L (--location): 当服务端返回重定向响应时，跟随重定向。 9. -k (--insecure): 允许不受信任的 HTTPS 证书。 10. -i (--include): 输出响应头信息。 11. --limit-rate: 限制请求速率，如1K表示每秒发送1KB数据。 12. --compressed: 表示启用压缩，加快数据传输速度。 除了这些常用选项，curl还提供了很多高级用法，例如：支持数据流的管道传输、对FTP服务的支持、HTTP2协议的支持等等。总之，curl命令是一个功能强大的命令行工具，可以给开发者带来很多便利，但同时也需要一定的技术储备和实践经验。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值