谷歌推网页爬虫robots.txt新标准 站长们速来了解

 

对于robots.txt文件，站长们可是比较了解，搜索引擎蜘蛛在你网站的方向标，如果你身为一个站长都不知道robots.txt文件，那么我就要问你，大哥你的网站是给自己看的吗？

 最早的robots.txt文件是谷歌先发明出来了，国内的百度和其他搜索引擎跟着舔着大脸跟随，标准和谷歌一模一样，赤裸裸地还不带遮盖的。今年，robots.txt 就满 25 周岁了， 为了庆祝生日谷歌再度出手，开源 robots.txt 解析器，试图推助机器人排除协议正式成为互联网行业标准。

最早的robots协议，（Robots Exclusion Protocol）机器人排除协议，是荷兰软件工程师 Martijn Koster 在1994 提出的一项标准，其核心就是通过 robots.txt 这样一个简单的文本文件来控制爬虫机器人的行为。由于简单高效征服了互联网行业，可以说它已经成为了限制爬虫的事实标准，所有搜索引擎 在抓取网页时都会浏览 robots.txt。

然而，在为互联网行业服务了25年之后，robots协议仍然只是一个非W3C的标准。由于不被承认，很多网站出现不少问题，最常出现的就是拼写错误，这让搜索引擎爬虫抓瞎和欲仙欲死的情况时常发生，有人利用漏洞还做过很多黑蜘蛛池，这里建议站长别玩快排和蜘蛛池，结果不会好的，听我一句劝。

由于robots的不完善，谷歌看在眼里。于是在诞生25周年之际，谷歌大笔一挥，献上一份厚礼，谷歌还开源了其用于抓取网络的工具之一—— robots.txt 解析器，内容很多我就简短说，就是以后你的robots文件按要求写，即使出现问题，解析器也会理解你的文件意图，站长们要多关注自己的robots文件。

这里推荐你建站的话最好使用旗鱼云梯平台，这个云端平台可以在你的服务器上实现一键建站，最关键的就是使用了旗鱼云梯你就不用安装其他安全工具，旗鱼云梯平台实现了云端SAAS化管控，尤其是对服务器安全和网站SEO优化。

只要你建站，就可以使用规范的robots文件设置，还有其他SEO优化工具。帮助你的网站被搜索引擎认可，这一点很重要。来旗鱼云梯平台领取免费的令牌，管理自己的服务器吧。