robots文件处理
robots文件对于蜘蛛爬行是非常重要的东西。
一般每个ftp文件中会自动生成robots文件，对于新站长来说会很容易忽略这个非常重要的东西。我们可以下载robots文件，打开可以看见dis开头的单词，这个英文前缀是代表不允许的意思。同理：里面的单词意思是不允许蜘蛛爬行指定文件。这是一个值得注意的事项，之前我打开robots文件，发现自动设置蜘蛛不允许爬行我网站里面的几乎所有的网页，这对于新手站长来书可就亏大发了。
因此，作为新手站长，我建议删除robots文件，在根目录里面可以找到robots文件。等到网站发展到一定规模，我们就要设置robots，以免受蜘蛛的干扰
robots文件对于蜘蛛爬行是非常重要的东西。
一般每个ftp文件中会自动生成robots文件，对于新站长来说会很容易忽略这个非常重要的东西。我们可以下载robots文件，打开可以看见dis开头的单词，这个英文前缀是代表不允许的意思。同理：里面的单词意思是不允许蜘蛛爬行指定文件。这是一个值得注意的事项，之前我打开robots文件，发现自动设置蜘蛛不允许爬行我网站里面的几乎所有的网页，这对于新手站长来书可就亏大发了。
因此，作为新手站长，我建议删除robots文件，在根目录里面可以找到robots文件。等到网站发展到一定规模，我们就要设置robots，以免受蜘蛛的干扰
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
