robots.txt协议:君子协议,主要用于规定网站可爬取和不可爬取的数据 查看某网站的robots.txt协议,即在该网站后加/robots.txt 例如,淘宝:https://www.taobao.com/robots.txt