ROBOTS协议对SEO优化有什么影响?

          Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式,用来指导搜索引擎更好地抓取网站内容,更好的保护用户的隐私和版权信息。

Robots协议可能给我们网站带来的好处:

1、   可以制止不必要的搜索引擎占用服务器的宝贵带宽,例如,E-MAIL这类搜索引擎对大多数网站是没有意义的;再有像imagestrippers,对于大多数非图形类网站来说也没有太大的意义,但是却耗用了大量的带宽。

2、   可以制止搜索引擎对非公开页面的爬行与索引,如网站的后台程序、管理程序,事实上,对于某些在运行中面临页面的网站来说,如果没有配置robots协议,搜索引擎甚至会索引那些临时文件。

Robots协议可能给我们带来的风险:

3、  给攻击者指明了网站的目录结构和私密数据的所在位置。虽然在WEB服务器的安全措施配置得当的前提下这不是很大的问题,但是降低了那些不怀好意者的攻击难度。

Robots协议可以保护网络安全,以免网络陷入混乱的状态,可以在信息多元化的时代为网络传播保驾护航。


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值