点击网页中正常链接结果跳转到天猫淘宝的页面

本文探讨了在百度搜索箭牌指纹锁时遇到的奇怪跳转现象,通过禁用JS发现页面原本显示的是资讯网站,实际却跳转至天猫页面。深入研究发现,这是由于网站对referrer头的判断,当用户从搜索引擎进入时触发特定跳转,而蜘蛛不携带referrer信息,故快照显示未跳转内容。
摘要由CSDN通过智能技术生成

在百度上正常搜索一个关键词,比如箭牌指纹锁,搜索的结果如下:

其他的搜索结果很正常比如第一个是官网,第二个是京东的页面,第三个页面显示的域显示的是一个资讯网站,点击进入之后却是天猫的页面,查看百度快照,快照的内容才是原页面的内容。背后肯定是用了页面跳转技术的,但究竟是什么类型的跳转,需要研究一下。

首先想到的就是JS跳转,打开Chrome设置,禁用网站JS:

再次点击百度搜索页面的链接,结果显示正常了,与快照的内容也是一致的。也就是说,页面使用的JS判断跳转,具体看一下判断的条件,是浏览器的UA还是其他项。查看页面的源代码,找到网站加载的JS,找到以下内容:

可以看到,网站针对浏览器的referrer头进行了判断跳转;解释一下浏览器referrer ,Http协议头中的Referer主要用来让服务器判断来源页面, 即用户是从哪个页面来的,通常被网站用来统计用户来源,是从搜索页面来的,还是从其他网站链接过来,或是从书签等访问。这里只要用户从百度、搜狗、360、google搜索并点击进来的,就会跳转到指定页面。而正常访问该页面的链接则不会跳转。

 

为什么蜘蛛不会跳转到相应的页面,是的快照的内容是跳转之后的页面内容?

有三点可能性,1、蜘蛛访问时并不携带referrer信息,所以不会跳转;2、蜘蛛无法很好的对网站的js进行判断,说白了不认识JS;3、蜘蛛无法访问被跳转页面的内容,因为电商内的网站一般是禁止蜘蛛抓取的。

 

不当之处请批评指出。

 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值