Robots协议起不到阻止爬虫的作用,是爬虫的“君子协定”
格式好像是这样的:
https://www.jd.com/robots.txt
现在题里面给了一个靶机的IP:
大概用IP访问也是一样的效果?
FireFox打开链接:
http://1.2.29.3/robots.txt
显示这么个玩意
Key.php?访问看看?
Slove
Robots协议起不到阻止爬虫的作用,是爬虫的“君子协定”
格式好像是这样的:
https://www.jd.com/robots.txt
现在题里面给了一个靶机的IP:
大概用IP访问也是一样的效果?
FireFox打开链接:
http://1.2.29.3/robots.txt
显示这么个玩意
Key.php?访问看看?
Slove