网安——信息收集

信息收集概览

渗透测试的流程

确定目标——信息收集——漏洞扫描——漏洞利用——形成报告

信息收集包括的内容

域名信息、IP段、开放的端口、网站架构、文件目录结构、软件版本、WAF、旁站、C段....

域名信息收集

域名是什么

用IP地址来对网站进行访问过于繁琐且不好记忆，域名便是代替了IP。

域名的分类

国际域名：.com（商业公司）；.net（网络服务）；.org(组织协会等)；.gov(政府部门)；.edu(教育机构)；.mil(军事领域)；.int(国际组织)

国别域名：.CN代表中国，.UK代表英国，.US代表美国

新顶级域名：biz,info,name,pro,aero,coop,museum.........(原有域名已经快被消耗殆尽)

域名与IP

www.baidu.com——>域名解析服务（DNS）——>220.181.38.148

域名联系人信息

所属人、邮箱、电话、地址.....

whois查询

站长工具

whoissoft

CNNIC

kali中whois查询：自带whois命令

域名反查：站长工具

ICP备案查询

国内主机绑定域名都需要备案，信息公开

工信部的ICP/IP地址/域名信息备案管理系统中可查

备案。

天眼查

作用

社工数据的基础

邮箱可进行钓鱼

从薄弱域名处进行攻击

子域名信息

子域名的作用

使攻击者可以较容易攻击成功

怎么查询子域名

1.字典猜解

2.枚举

3.使用子域名挖掘机

4.GitHub（中有子域名猜解工具）

域名DNS信息

DNS（域名解析服务）：

如何查询DNS记录

DBA查

sitereport.netcraft.com

IP信息

DNS服务器类型

DNS解析流程

ping/nslookup

nslookup -type="NS"

ip归属信息

 通过ipwhois.cnnic.net.cn查询

如何获取CDN背后的真实IP

渗透测试的本质就是信息收集（打点）

知己知彼

1.真实IP获取

真实IP：指公网IP地址（大约40亿，xxx.xxx.xxx.xxx,一个xxx代表0-255）

私网IP：

找到真实IP就可以访问这个IP的C段和端口，方便进一步渗透，但是有的网站挂了CDN，我们必须绕过CDN获取真实IP

域名——DNS——IP——网站

CDN：负载均衡，虚假IP

如何判断存在CDN

使用不同主机PING域名判断

站长工具

爱站网

国外piing探测

2.使用nslookup域名解析判断

子域名查询

由于CDN加速需要支付一定的费用，所以很多网站可能只对主站做了CDN加速，而对其子域名没有做，而且子域名和主站很可能在同一个服务器或者同一个C段上，所以可以通过查询子域名的IP来辅助判断主站的IP信息

历史DNS解析记录

通过查询DNS与IP绑定的历史记录就有可能发现之前的真实IP信息，一般通过第三方服务网站进行查询：

DNSdb：https://dnsdb.io/zh-cn/

微步在线:微步在线X情报社区-威胁情报查询_威胁分析平台_开放社区

使用国外主机解析域名

部分国内的CDN加速服务商只对国内线路做了CDN加速，但是对国外的线路没有做加速，这样就可以通过国外的主机来探测真实IP信息

网站漏洞

利用网站的漏洞和信息泄露的敏感文件信息，比如（PHPinfo文件，网站源码文件，Github文件泄露）等获取真实IP

邮件信息

邮件信息中会记录邮件服务器的IP信息，有些站点拥有类似于RSS邮件订阅功能。可以利用其发送邮件，通过查看源码的方式查看服务器的真实IP

旁站信息收集

旁站：与攻击目标在同一服务器的不同网站，在攻击目标没有漏洞的情况下，可以通过查找旁站的漏洞攻击旁站，然后再通过提权拿到服务器的最高权限，拿到服务器的最高权限后攻击目标也就拿下了。

 通过站长工具进行同IP的查询：同IP网站查询，同服务器网站查询 - 站长工具

通过引擎查询：通过bing搜索ip:220.181.38.150 - 搜索

网络空间探测引擎搜索

C段主机信息收集

C段查询主要是当前的IP攻击不下来的时候，可以攻击它的C段。

查询方法：

nmap -sn ip/24

Google语法

使用C段扫描器扫

子域名信息收集

子域名：是父域名的下一级

枚举法（暴力破解）：Layer子域名挖掘机

搜索引擎进行搜索子域名：Google语法

 fofa等空间探测引擎:domain="baidu.com"

透明证书：当您通过安全连接（HTTPS）访问某个网站时，该网站回想浏览器提供数字证书。此证书用于识别该网站的主机名，由已验证网站所有者的证书授权中心（CA）签发。只要用户信任相应的CA ,便可相信证书中提供的身份证明

 crt.sh

聚合工具: 结合了爆破，证书，搜索引擎，DNS解析记录。（oneforall）

端口服务信息

端口扫描思路和代码实现思路

查看本机端口信息

Windows：netstat -aon|findstr 3306

Linux:netstat -an|grep 3306

远程主机端口信息查询

kali:telnet ip 端口号

       wget ip 端口号

        nc -vz ip 端口号

常见端口号

文件共享服务端口

端口号	端口说明	攻击方式
21/22/69	FTP/SFTP文件传输协议	允许匿名上传、下载、爆破和嗅探操作
2049	NFS服务	配置不当
139	samba服务	爆破、未授权访问、远程代码执行
389	LDAP目录访问协议	注入、允许匿名访问、弱口令

nmap

使用最广泛的端口扫描工具

常用参数：简单扫描：nmap -sP ip

指定端口或范围扫描：nmap -p0-65535 IP

探测操作系统：nmap -O IP

只进行主机发现，不进行端口扫描:nmap -sn ip

IP后面的/24指掩码的位数

子网掩码8位，11111111.00000000.00000000.00000000代表：255.0.0.0（A类IP地址）

子网掩码16位：255.255.0.0（B类IP地址）

24位：255.255.255.0（C类IP地址）

旁站：和目标网站在同一台服务器但端口不同的其他网站。

C段：和目标服务器IP处于同一个C段的其他服务器。

指纹识别

什么是指纹识别

通过关键特征，识别出目标的CMS系统、服务器、开发语言

操作系统、CDN、WAF的类别版本等

识别对象

CMS信息：比如Discuz、织梦、帝国CMS、PHPCMS、ECshop等；

前端技术：比如HTML5、jquery、bootstrap、vue、ace等

开发语言：如PHP，Java，ruby、python、c#等

web服务器：如apache、nginx、IIS、lighttpd等

应用服务器：如tomcat、JBoss、weblogic、websphere等

操作系统信息：如Linux、win2k8、win7、kali、centos等

CDN信息：是否使用CDN，如cloudflare、帝联、蓝讯、网宿、七牛云、阿里云等

WAF（web应用防火墙）信息：是否使用WAF，如D盾、云锁、宝塔、安全狗、360等

CMS指纹识别

CMS：内容管理系统。

包括：博客系统，微博团购团战、导航网站、信息分类、百科网站.....

企业官网、学校官网、医院官网.....

针对这些开源的CMS可利用历史漏洞。

CMS识别思路

通过特定的文件或者代码来找到关键的特征。

版权信息

通过页面的可见版权信息

特定文件MD5值

通过特定文件图标的MD5值

通过GitHub等其他资源上的CMS和中间件指纹库进行对照

查看网页源代码

分析网站源代码中的关键代码来进行判断

通过特定文件分析

robots.txt禁止爬虫机器人爬取某些资源

CMS识别工具

kali中自带工具whatweb

浏览器插件：

wappalyzer:Find out what websites are built with - Wappalyzer

whatruns:WhatRuns — Discover What Runs a Website

在线网站：

TideFinger 潮汐指纹 TideFinger 潮汐指纹

http://whatweb.bugscaner.com

离线工具：

御剑指纹扫描器（需要.NET Framework）

Test404轻量CMS指纹识别v2.1

其他开源程序

https://github.com/Tuhinshubhra/CMSeek

CDN指纹识别

思路

通过查询CDN解析记录，来获取到别名解析记录，从而有可能会获得CDN的信息

工具

ping:

nslookup

超级ping

lbd(load balance detector)

专用：

WAF指纹识别

什么是WAF

web应用防火墙：用来过滤http/https的请求

作用：

WAF分类

硬件型WAF（厂商安装）、

云WAF（阿里云、腾讯云、华为云...）

软件型WAF（部署在Apache、Nginx等HTTPServer中）

常见WAF厂商

阿里云、腾讯云、华为云、百度云.....

安全狗、宝塔、360、知道创宇、长亭、安恒...

WAF指纹识别思路

不同WAF铲平拦截返回界面不同

额外的cookie

任何相应或请求的附加标头

响应内容（如果被阻止请求）

响应代码（如果被阻止请求）

IP地址（云WAF）

JS客户端模块（客户端WAF）

GitHub中可见思路和部分WAF特征

如何触发拦截：使用恶意请求，如：

指纹库：https://github.com/CSecGroup/wafid/blob/master/finger.xml

工具

kali自带：https://github.com/EnableSecurity/wafw00f

用法：wafw00f URL

nmap URL --script=http-waf-detect.nse

sqlmap -u "URL（动态地址）" --identify-waf

其他：https://github.com/0xlnfection/Awesome-WAF

搜索引擎收集信息

搜索引擎：Google、百度、搜狗、360...、

什么是Google Hacking

2002年Johnny long总结了Google语法

运算符

完全匹配	”搜索内容“
任意字词	在所需字词中间＋OR
不包含	搜索内容 -用户不想看到的内容
数字范围	number..number

Google高级语法

只搜索某个网站的内容		site:URL
网页文本内容包括		allintext/intext:用户想包含的内容
网页标题内容包含		allintitle/intitle:内容
URL地址包括		allinurl/inurl:admin.php
文件类型指定		filetype:文件类型

语法数据库：Google Hacking Database (GHDB) - Google Dorks, OSINT, Recon

                      https://github.com/BullsEye0/google_dork_list

网络空间引擎搜索

什么是网络空间搜索引擎

360水滴直播事件

除了网络摄像头之外，网络空间还包括了什么？

黑客是怎么找到某一个网络设备的？

网络空间搜索引擎是一种专门对网络空间进行搜索的搜索引擎。

什么是网络空间？

网络空间（Cyber space），搜索引擎：1996年数字图书馆的成立到1998年谷歌诞生并有了网页，可以非常方便的检索网页内容。  随着网络空间的发展：出现了专门的搜索引擎可以去搜索图片、音乐、声音（电视剧）等等，进一步发展之后可以分为网络系统，如CDN、CMS、IDS、办公软件、数据库服务、杀毒软件、文件服务NFS等，网络设备如：手机、交换机、平板电脑、路由器、网络摄像头、私人网盘、打印机、ATM、物联网家电、机器人等等，工业系统如：交通信号灯、企业大屏幕、公园控制系统、加油站、电网、自来水厂、核电站等等这些个节点，网络空间正是由这些节点组成。

常规的搜索引擎无法对这些节点进行一个全面的搜索，所以导致网络空间搜索引擎的出现。

网络空间搜索引擎（OSINT）

open source intelligence(开源的网络情报收集)

网络空间搜索引擎使用网络扫描工具进行扫描。

方式：使用IP库或枚举的方式

怎样标识一个设备？

爬虫是用URL的地址去进行标识。

网络空间搜索引擎可以使用IP地址（域名）、开放端口、操作系统、物理地址、MAC地址、设备类型等去进行标识。

实施威胁地图：https://www.fireeye.com/cyber-map/threat-map.html

安全性：有一定安全策略

常见的网络空间搜索引擎

shodan

基本介绍：地图、截图、监控，新手指引，视频教程，开发者工具，filter过滤器（e.g）Explore

CLI：命令行工具

         kali:自带

alert Manage the network alerts for your

account

convert Convert the given input data file

into a... # 转换输入文件

count Returns the number of results for a

search # 返回查询结果数量

download Download search results and

save them in a... # 下载查询结果到文件

honeyscore Check whether the IP is a

honeypot or not. # 检查 IP 是否为蜜罐

host View all available information for an

IP... # 显示一个 IP 所有可用的详细信息

info Shows general information about

your account # 显示账户的一般信息

init Initialize the Shodan command-line #

初始化命令行

myip Print your external IP address # 输出

用户当前公网IP

parse Extract information out of

compressed JSON... # 解析提取压缩的JSON信

息，即使用download下载的数据

scan Scan an IP/ netblock using

Shodan. # 使用 Shodan 扫描一个IP或者网段

search Search the Shodan database # 查询

Shodan 数据库

stats Provide summary information about

a search... # 提供搜索结果的概要信息

stream Stream data in real-time. # 实时显示

流数据

用法示例：

shodan host 172.67.167.88

shodan count apache

shodan count vuln:cve-2019-0708

shodan search --fields ip_str,port,org,

hostnames microsoft iis 6.0

shodan stats port:445 SMB

shodan download --limit -1 test net:172.67.

167.88/24

 cencys

无收费，收录了证书

zoomeye（知道创宇）国产第一个网络空间搜索引擎

fofa

基于网络空间搜索引擎的工具

GitHub - knownsec/Kunyu: Kunyu, more efficient corporate asset collection

https://github.com/coco413/DiscoverTarget

GitHub - saucer-man/saucerframe: python3批量poc检测工具

目录扫描收集信息

什么是目录扫描

在部署的网站上有一些敏感文件，如配置文件（xxx.cfg），数据文件(xxx.sql)，特殊的目录（/backup、/conf、/admin）。

由于配置不当导致目录信息外、本地文件包含漏洞也会造成目录扫描。

会泄露数据库用户名和密码，服务器的用户名和密码，数据库的文件。

常见敏感目录和文件

robots.txt文件：对爬虫机器人的规范和限制。会提示攻击者有某些关键文件

sitemap.xml文件：指导搜索引擎去搜索

网站的备份文件/数据：不定时的进行备份，虚拟系统在线压缩在指定的路径和文件名下生成一个压缩包（压缩文件），里面存在着网站全部的备份文件。对数据：帝国备份王

 路径：后台登陆的目录：/admin;

程序的安装包（源码）：

文件上传的目录：/upload;/upload.php

MySQL管理页面

程序的安装路径

PHP的探针

网站的文本编辑器

Linux：/etc/passwd;/etc/shadow;/etc/sudoers

macos:.DS_store

编辑器的临时文件.swp

目录穿越：

tomcat

文件扫描思路

做法

在域名后直接加上想要查询的文件名，看返回状态码，如果是200，则存在

方法：

递归：dir xxx

字典：

暴力破解：

爬虫：

fuzz(模糊测试)

文件扫描字典

kali中包含：dirb,dirbuster

GitHub上

御剑

BP

注意事项：

WAF、IDS

挂代理

防御：权限、敏感文件删除、布置WAF，

git信息收集

什么是版本控制系统

代码的恢复需要备份。修改仓库难以管理，对整个工程直接打包，占存过大。

发展：本地VCS，当程序员们进行协同开发时，会产生文件冲突的问题，这时就需要一个可以自动合并且不冲突、标记冲突的内容的集成化的工具。

集成化的VCS：CVCS,SVN,CVS,

GIT工作区域的划分

为什么GIt会导致信息泄露：  将私有仓库/隐私文件提交到了GitHub上

                                               部署项目的时候，不小心把.git文件一起打包放在了web网站目录下

.git下有用的内容

GitHub搜索技巧：

                              kali in:file  -搜索文件中包含kali的代码

                              kali in:path ——搜索路径中包含kali的代码

                              kali in:path.file ——搜索路径、文件中包含kali的代码

                              shodan language:python ——搜索关键字shodan，语言python的代码

                              filename:config.php language:php ——搜索文件名为config.php,且语言为PHP

git信息泄露利用方式

通过目录扫描、robots.txt、搜索引擎搜索（intitle:"index of/.git"）找到.git

把.git下载到本地

用git的命令获取内容:

git log

git reset --hard[log hash]

git diff

工具：GitHub - gakki429/Git_Extract: 提取远程 git 泄露或本地 git 的工具