【robots.txt】设置网站不允许被搜索引擎抓取的代码 如下: User-agent: * Disallow: / User-agent: * 表示所有搜索引擎蜘蛛 Disallow: / 表示禁止访问根目录所有文件