robots

WriteUp

1.题目名称

robots

2.难度系数

简单

3.题目来源

Cyberpeace-n3k0

4.题目描述

X老师上课讲了Robots协议,小宁同学却上课打了瞌睡,赶紧来教教小宁Robots协议是什么吧。

在这里插入图片描述

http://111.198.29.45:44532/

5.解题步骤
5.1打开网址

在这里插入图片描述

显示空白页面

5.2 查看源代码

在这里插入图片描述
没有任何信息,题目提示robots协议,尝试访问网站根目录下的robots.txt文件

页面提示一个文件,flag_1s_h3re.php,访问得到答案
在这里插入图片描述

6.flag值

cyberpeace{0bbf1b712ae77e81ef32a5d3bcaa63d5}

7.延伸

在这里插入图片描述

在这里插入图片描述
robots支持使用通配符"*“和”$"来模糊匹配url:

“$” 匹配行结束符。

122)]

robots支持使用通配符"*“和”$"来模糊匹配url:

“$” 匹配行结束符。

“*” 匹配0或多个任意字符。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
回答: Robots.txt是一个约定、协议,是网站和搜索引擎爬虫之间的协议文件。它以简单的txt格式文本方式告诉搜索引擎爬虫被允许的权限,用来控制搜索引擎爬虫对网站的访问范围。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt文件,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。\[3\]Robots.txt的作用是为了更好地被搜索引擎收录,站点可以通过设置robots.txt来控制搜索引擎爬虫的访问权限。\[2\]如果站点希望封禁某些页面,真正的封禁并不是靠user-agent来实现,而是通过其他方式来实现。\[2\]如果需要生成或检测Robots.txt文件,可以使用一些在线工具,如站长工具Robots.txt生成、便民查询网Robots.txt生成器、Tool在线工具等。\[1\] #### 引用[.reference_title] - *1* *3* [什么是robots.txt文件](https://blog.csdn.net/qq_41092170/article/details/117701816)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [【每天学习一点新知识】robots.txt详解](https://blog.csdn.net/m0_51683653/article/details/127252676)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值