00X0 前言
补天漏洞响应平台在七月份开始了新的活动,指定范围为公益SRC。无HACK 不兄弟
现在都八月份了,七月不刷洞八月方便面啊。趁着月初,赶紧把公益SRC的域名全部爬下来
01X0 准备活动
01X1 踩点分析
- 在公益厂商列表中可初步获取厂商的信息,此处发现显示的ID与点击提交漏洞后页面的ID一致。
此处的ID为59906,将鼠标再次悬浮在提交漏洞的链接上
两处的ID均相同。点击提交漏洞
从这里我们可以发现点击提交漏洞需要登录才能获取具体的信息(域名地址)
且经过一些信息收集后,发现厂商页面是由js在线生成的,所以不能直接爬取链接。
01X2 整体思路
先用游客身份爬取公益厂商列表中所有厂商的ID,然后登录补天账户获取对应的Cookies,进而遍历上一步获取的ID值再组合http://butian.360.cn/Loo/submit?cid=id链接获取每个厂商的域名信息
02x0 爬虫编写
02x1 准备环境
Python3.6
模块: requests
BeautifulSoup
json
02X2 关键请求
第一处为未登录厂商的一处请求,返回json数据可以遍历所有页数和厂商ID