有权限的网页能分享内页?_为什么需要访问权限的网页也会被百度收录?

4bac8fb0d2be5bf913295e243441f414.png

业内回答:百度蜘蛛对网页的抓取,是通过网页与网页之间的链接实现的。网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,某些网页即使通过你的网站内部链接无法访问到,但是,如果别人的网站上有指向这些页面的链接,那么这些页面还是会被搜索引擎所收录。

此外,百度蜘蛛的访问权限和普通用户是一样的。因此,普通用户没有权限访问的内容,SEO蜘蛛也是没有权限访问。之所以看上去某些访问权限限制的内容被百度收录,原因有两点:

(1)该内容在SEO蜘蛛访问时时没有权限限制的,但抓取之后,内容的权限发生了变化。

(2)该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上,则蜘蛛就会循着这条路径抓取出受限内容。

L氪迹回答:如果你不希望这些需要访问权限的网页被百度收录,一方面可以通过robots协议加以限制;另一方面,也可以通过百度站长平台的反馈中心进行反馈。

同样也可以针对该类页面对百度蜘蛛返回404状态,以避免被百度收录。


L氪迹SEO博客简介:SEO免费教程分享_学习交流纯白帽SEO技术以及网站排名优化方法

如若转载,请注明出处:https://www.lkeji.cn/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值