搜索引擎
重点内容
robots文件
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件会告诉蜘蛛程序,在服务器上什么文件是可以被查看/禁止查看的。如果某些页面被设为不可查看,那么搜索引擎也是无法正常获取到的。
标题
重点内容
重点内容
robots文件
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件会告诉蜘蛛程序,在服务器上什么文件是可以被查看/禁止查看的。如果某些页面被设为不可查看,那么搜索引擎也是无法正常获取到的。
重点内容