手工检测Web应用指纹（分析网站技巧）

http://www.freebuf.com/news/137497.html?utm_source=tuicool&utm_medium=referral

0×01 Web 应用技术概览

1.1 架构

大多数 web 应用可以粗略划分为三个组件(component)。

1、客户端, 大多数情况下是浏览器。

2、服务端, Web 服务器接收客户端的HTTP请求并进行响应。另外，有时候 Web服务器只转发请求到应用服务器(Application Server),由应用服务器来处理请求。

3、后端存储, 后端存储一般是DBMS,用于查询和存储数据。

所有组件都有不同行为，这些不同行为将影响漏洞的存在性和可利用性。所有组件(无论是客户端还是服务端)都有可能产生漏洞或者其他安全问题。

1.2 客户端技术

主流的客户端技术每天都在被大量互联网用户使用，包括 HTML, JavaScript, Flash … 他们常用的浏览器则是 Chrome, Firefox, Opera, IE/Edge, Safari 等。另外，包括Android应用的 webview 以及部分PC客户端应用(比如QQ或者某些游戏登陆器),也会引入一部分 web 客户端技术。

1.3 服务端技术

在服务端，尽管使用任何技术的任何Web应用都有或多或少的潜在漏洞，但对于某些特定技术(如PHP, Struts2等)的网站,则相对更容易产生漏洞。简单划分的话服务端技术大概有以下几类。

1、Web服务器(Web Server), 包括 Apache, lighttpd, Nginx, IIS.

2、应用服务器(Application Server), 包括 Tomcat, Jboss, Oracle Application server .

3、编程语言, 包括 PHP, Java, Ruby, Python, C#. 对于后三种语言，一些常见的框架包括 Ruby-on-Rails, .Net MVC, Django 等。

1.4 后端存储技术

对于大多数中小型网站，数据库和Web服务器是在同一台主机的。常见的后端存储技术包括:

1、关系型数据库, 包括 MySQL, Oracle, DB2, SQL Server, PostgreSQL, SQLite 等。

2、NoSQL, 包括 MongoDB, CouchDB, Redis 等。

3、目录访问, 包括 openLDAP, Active Directory。

0×02 Web 服务器指纹分析

2.1 Web 服务器指纹内容

我们想要寻找哪些信息。

1、Web服务器名称，版本

2、Web服务器后端是否有应用服务器

3、数据库(DBMS)是否部署在同一主机(host)，数据库类型

4、是否使用反向代理(reverse proxy)

5、是否使用负载均衡(load balancing)

6、Web应用使用的编程语言

2.2 手工检测技巧

2.2.1 HTTP分析

使用chrome开发者工具或者burpsuite交互式抓包分析HTTP数据。

1、重点观察 响应头(Response Header)的 Server, X-Powered-By, Set-Cookie 字段。

2、使用畸形 Host字段的 HTTP请求试探，观察响应头。

比如 Struts2 的特征之一就是会设置特殊的JSESSIONID的cookie字段。

Set-Cookie: JSESSIONID=C09CBBF************7CF6D25D4F0

又或者以freebuf为例，你可以观察到两个有趣的字段，Server字段以及WP-Super-Cache。

Server字段说明 freebuf 的服务器版本是 Apache 2.2.21

WP-Super-Cache 字段则表明 freebuf 使用名为 WP Super Cache 的 WordPress 插件。

2.2.2 浏览网站

2.2.2.1 关注HTML源码

重点关注以下几处

1、上传与下载功能

2、认证表单与URL(login,logout, reset password)

3、后台管理页面(administration section)

4、数据输入点，例如”留言板，联系我们，个人资料，商品评论，搜索，编辑器”等

观察这些位置的HTML源码(特殊的class名称)及其注释(comment)部分，可能暴露有价值信息。

2.2.2.2 根据网站页面后缀判断

通常而言

1、存在.php结尾的文件说明该web应用是用PHP写的。

2、存在.jsp或者.do的文件，说明该web应用是由Java写的。

3、存在.asp或者.aspx结尾的文件，说明该web应用可能是由VB或者C#写的。

需要注意的是(低概率事件)，某些脑洞奇特的管理员/开发者/运维可能会将Java编写的程序用.php的结尾，或者让某些PHP应用使用.do结尾。

如果网站路径存在 RESTful URL 的特征，例如

/objects/ # will give you a list of all the objects;
/objects/new # will give you the page to create a new object;
/objects/12 # will give you the object with the id 12;
/objects/12/edit # will give you the page to modify the object with the id 12;

则很有可能是由 Ruby On Rails 或者 Python 开发的。

2.2.2.3 favicon.ico

可以通过默认 favicon.ico 来判断CMS，比如 Drupal 的默认icon是一个水滴状的物体。在HTML源码处搜索关键词icon或者shortcut。

几个例子

<link href="/images/branding/product/ico/googleg_lodp.ico" rel="shortcut icon">
<link rel="icon" type="image/png" sizes="96x96" href="/favicon-96x96.png">
<link rel="shortcut icon" href="//res.wx.qq.com/a/wx_fed/webwx/res/static/img/3wOU-7F.ico" type="image/x-icon">

2.2.2.4 robots.txt

有些cms会有默认robots.txt，所以我们可以通过robots.txt来帮助判断CMS。下面的是举了一个Joomla的robots.txt例子。由于robots.txt只是君子协议，所以你懂的，在渗透测试时它完全在说明你应该检查哪些目录。

# If the Joomla site is installed within a folder
# eg www.example.com/joomla/ then the robots.txt file
# MUST be moved to the site root
# eg www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to all of the
# paths.
# eg the Disallow rule for the /administrator/ folder MUST
# be changed to read
# Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

2.2.2.5 目录扫描(directory/pages busting)

可以使用wfuzz进行目录扫描。

python wfuzz.py -w wordlist/general/common.txt http://testphp.vulnweb.com/FUZZ

详细的使用方法请参考

https://github.com/xmendez/wfuzz/wiki/Getting-started

另外也可以参考 OWASP的目录扫描工具 OpenDoor，开发比较活跃。

https://github.com/stanislav-web/OpenDoorhttps://github.com/stanislav-web/OpenDoor/wiki

无论用什么具体的目录扫描工具，最终是为了发现某些404页面, SQL错误页面或者其他异常页面，这些页面暴露的信息可能可以反映服务器类型与版本。除此以外，对于多数网站的后台管理页面通常都属于某些常用的路径(即包含在字典中)，因此我们在大多数情况可以通过目录扫描来获得。如果已知CMS类型，可以直接参考文档来判断后台默认管理页面的路径。

2.2.2.6 刻意构造错误

错误页面可以给你提供关于服务器的大量信息。可以通过构造含有随机字符串的URL，并访问它来尝试得到404页面。

Tomcat的默认404页面

Ruby on Rails的默认404页面

还有几种方法可以构造错误。比如在URL中添加特殊字符%00(NULL),%27(Single Quote),%22(Double Quote)。或者在URL中删除部分参数，删除部分cookie中的参数(chrome 插件 edit this cookie)。

不熟练的Django开发者可能会开启调试模式

Tomcat 5XX的错误时可能抛出异常会显示调用栈

对于PHP的应用，还有一个很常用的技巧来构造错误。比如将 /index.php?name=hacker 替代为 /index.php?name[]=hacker。

关键是要仔细阅读这些错误信息。虽然这听起来有点蠢，但是你肯定会惊讶于会有多少开发者认为两个错误页面是一样的，即使是错误消息的内容完全不同。The evil is in the detail.

0×03 Web应用指纹特征总结

3.1 HTTP响应头(HTTP response header) 特征

正则匹配HTTP响应头中的特殊字段。

"headers": { "X-AMP-Version": "([\\d.]+)\\;version:\\1", "Set-Cookie": "^AMP=" },

3.2 HTML 特征

重点关注 body, title 等标签的内容和属性。

3.2.1 特殊的文本

比如在 HTML title 标签中的Powered by EmpireCMS之类。

3.2.2 特殊的class

HTML 中存在特定 class 属性的某些 div 标签。

<body class="ke-content">

在上面的代码中，ke-content 这个 class 通常是在 kindeditor 中出现的。

3.2.3 meta标签特征

举个例子

<meta name="version" content="neblog-1.0"/>

3.2.4 script标签特征

<script src="http://www.freebuf.com/buf/themes/freebuf/js/bootstrap.min.js"></script>

主要用于判断是否使用jQuery,Bootstrap等

3.3 URL 特征

3.3.1 URL路径特征

比如 wordpress，有一些常见路径。

readme.html
wp-content/uploads/
wp-admin
...

3.3.2 默认错误页面

通过爬虫尝试寻找网站中的错误页面。例如 Apache 默认404，Oracle的默认SQL错误页面等。

3.3.3 robots.txt

某些CMS会有默认的robots.txt。在robots.txt的文本中直接说明CMS名称和版本。(Discuz, Joomla)

3.3.4 favicon.ico 等特殊文件匹配

下载 favicon.ico 图像进行md5摘要，对比icon库是否存在相同md5的icon。计算量更大但检索效果更好的方法就是做相似图像检索(基于SIFT，或者其他图像特征)。

除了 favicon.ico 以外，还有其他logo文件可以考虑，比如Dedecms的/img/buttom_logo.gif。

3.4 主机端口特征

3.4.1 默认端口特征

对于后端DBMS的识别，如果主机对外开放DBMS的话，可以通过端口特征判断。尤其是在开放默认端口比如3306,1443,27017等。

3.4.2 端口交互特征

Socket交互过程中的一些特殊字符串。具体看参考资料2-0×03-5.Socket。

3.4.3 Nmap OS指纹

通过 Nmap OS指纹可以初步判断操作系统。

3.4.4 SSL证书

SSL证书信息。

0×04 其他用于辅助的自动化Web应用指纹分析工具

1、WhatWebhttps://github.com/urbanadventurer/WhatWeb

2、Wappalyzer (推荐作为chrome插件使用)https://github.com/AliasIO/Wappalyzerhttps://github.com/AliasIO/Wappalyzer/wiki

3、天蝎指纹库https://github.com/Ms0x0/Dayu

4、Plecosthttps://github.com/iniqua/plecost

5、BlindElephant (年久失修)https://github.com/lokifer/BlindElephant

6、Website Analyzerhttps://github.com/wofeiwo/Website-Analyzer/

7、cms-explorerhttps://github.com/FlorianHeigl/cms-explorer

8、shodan/fofa/zoomeye/傻蛋等

0×05 参考资料

1、Web For Pentester (Louis Nyffenegger) – fingerprinting章节

2、国产指纹库平台 – 天蝎指纹库 – 破晓团队

3、浅析国内指纹识别技术 – 北风飘然@金乌网络安全实验室

4、SQLMap的前世今生（Part2）：数据库指纹识别 – 渔村安全(猎豹)

5、如何使用Wappalyzer API进行Web应用指纹识别 – 碳基体

6、网站技术指纹分析工具（Chrome扩展）—Website Analyzer – wofeiwo#80sec.com

7、浅谈web指纹识别技术 – kelz

8、Web Analysis, Vulnerability Assessment and Exploitation using Backtrack5

9、御剑web指纹识别程序(新出的一款WIN平台CMS指纹识别小工具)

10、网站指纹识别工具——WhatWeb v0.4.7发布