robots.txt 简介

该文章为pcat写的writeup

一种我还没见过的方法

得记下来。。。

实验吧的题目地址为：http://www.shiyanbar.com/ctf/1838

以下是他的writeup：

本题进去后，是一长串随机字符串，而且刷新后就变了，
该字符串可以b64解密，会变成数字串，也可以再b32解密但没什么意义。

看出题人给的提示：
怎么好像就是在随机产生？莫非不是这个？
发现其他的文件。

这题是在网页上的，于是先去看看其robots.txt
结果看起来是robots.txt for Discuz! X3
列举了一大堆禁止爬入的目录，可是尝试去访问都404或者403
这是非常苦恼的。。。
最后嘛。请自己拉动滚动条看到最底部，里面写了一个xml地址
访问它，里面有一个flag所在的网址，访问它，再做个b64解密就差不多了。