XCTF攻防世界-web题

1.查看源码

可以用快捷键ctrl+U

 得到flag

2.robots

什么是robots.txt?

robots.txt 即蜘蛛协议，全称为“网络爬虫排除标准”（Robots Exclusion Protocol），也称为爬虫协议、机器人协议等，它是搜索引擎进入网站后第一个爬取的文件，通常放置于网站根目录下。其作用是告知搜索引擎允许或不允许抓取哪些页面。

robots文件不存在或者是空文件都意味着允许搜索引擎抓取所有内容。

访问robots.txt文档，这个文档是搜索引擎中访问网站的时候要查看的第一个文件，文件中会明确告诉搜索引擎允不允许访问这个网站。

• robots.txt的两条规则

①User-agent：指定对哪些爬虫生效，用户代理，若为*号，表示可被所有的搜索引擎抓取

②Disallow：指定要屏蔽的网址(一个robots.txt中至少要有一个屏蔽，如实在没有需要屏蔽的页面，那么可以屏蔽搜索结果页面（search.html 屏蔽这个页面可以避免大量低质量内容被收录）还有404页面)

    allow：允许抓取的部分（allow的优先级大于disallow）

③sitemap文件是让搜索引擎找到哪些是需要被搜索引擎抓取的。

举个栗子：如果创建了一个网站，想不让人知道这个网站的后台地址，那么就把这个网站后台的地址放到robots.txt文件中，就屏蔽了后台地址，如果有人想通过访问robots.txt文件知道后台地址的话，可以不要把网址写全，如一个后台地址为admin.php，可以只写ad，屏蔽ad，这样就可以把admin.php同时屏蔽掉了。

访问这个php文件，得到flag

3.ba