如有不对的地方，还请各位大佬指正。下面开始做题：
思路讲解：标题名字叫做robots，就可以联想到robots.txt，在web中robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。
robots.txt写作语法
首先，我们来看一个robots.txt范例：
访问以上具体地址，我们可以看到robots.txt的具体内容如下：
#
# robots.txt for Discuz! X3
#
User-agent: *
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /forum.php?mod=post*
Disallow: /home.php?mod=spacecp*
Disallow: /userapp.php?mod=app&*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*
以上文本表达的意思是允许所有的搜索机器人访问站点下的所有文件。具体语法分析：其中#后面文字为说明信息；User-agent:后面为搜索机器人的名称，后面如果是*，则泛指所有的搜索机器人；Disallow:后面为不允许访问的文件目录。
robots.txt的利用方式：输入网址+robots.txt:
flag: f1ag_1s_h3re.php
305
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
