Robots Exclusion Standard 作用:网站告知网络爬虫哪些页面可以爬取,哪些不行形式:在网站目录下的robots.txt 案例: 百度Robots qqRobots 网络爬虫,盗亦有道