eeeric7的博客

原创 攻防世界新手区Web-writeup

Web1view_source F12查看网页源代码得到flag Web-2 robots Robots协议：即Robots Exclusion Standard网络爬虫排除协议。 作用：网站告知网络爬虫哪些页面可以爬取，哪些不能爬取 形式：在网站根目录下的robots.txt文件 robots.txt文件应该放在网站根目录下。 当robots访问一个网站时，首先会检查该网站中是否存在http://www.xxx.com/robots.txt这个文件，如果机器人找到这个文件..