探密诡异的HTTP Referer总是为空的原因 --- 转自 cnblogs的陈力就列崇论闳议

最新推荐文章于 2021-08-18 15:07:45 发布

萧逸2005

最新推荐文章于 2021-08-18 15:07:45 发布

阅读量1.4k

点赞数

分类专栏： javaWeb 文章标签： header firefox 防火墙浏览器 safari 服务器

javaWeb 专栏收录该内容

30 篇文章 0 订阅

订阅专栏

什么是HTTP Referer

简言之，HTTP Referer是header的一部分，当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器我是从哪个页面链接过来的，服务器籍此可以获得一些信息用于处理。可以用于统计访问本网站的用户来源，也可以用来防止盗链接（注意：用这种方法来防止盗链接有很大的局限性，因为Header中的信息很容易伪造）。在.NET中取得该字段非常简单，你只需要做如下调用即可：Request.UrlReferrer，该值返回的是一个Uri对象。值得注意的是，当你想获取Url字符串的时候，最好不要直接调用Request.UrlReferrer.ToString()方法，因为这样有可能返回的是一堆乱码。产生的原因是，用户在来你网站之前的那个网站的编码方式（Encoding)也许和你的网站不一样，导致Url Decode的时候出现了乱码。这里建议使用Request.UrlReferrer.OriginalString，这个属性返回的就是当时构造Uri对象的原始Url，即没有经过Decode操作。当然，如果你只是想获取Url字符串的话，还可以这样调用：Request.Headers["Referer"]。但你得先判断一下浏览器是否发送了该值，如果没有发送该值，则返回null。（小提示：细心的人可能看出来了，在HTTP Header中Referer的不是英文单词Referrer。Referer其实应该是英文单词Referrer，不过拼错的人太多了，所以编写标准的人也就将错就错了。但在.NET中修改了这个错误，所以是Request.UrlReferrer，而不是Request.UrlReferer，使用的时候小心一点就是了）

Referer不能正确获取

Firefox中关于Referer的设置有两个键值:network.http.sendRefererHeader (default=2) 设置Referer的发送方式，0为完全不发送；1为部分发送；2为始终发送。我检查了我的Firefox设置，明明设置的是2啊，也就是说都要发送这个字段的，但我调试的时候发现Firefox确实没有发送这个字段，Request.UrlReferrer始终为null。于是上网去找找有没有解决的办法，发现有很多人和我遇到了相同的问题，但都没有说明原因，也没有找到合适的解决方案。在微软的官方网站，好像有人提交了这个Bug，请参考http://connect.microsoft.com/VisualStudio/feedback/ViewFeedback.aspx?FeedbackID=103334。搞了半天，微软回复说没法重现这个Bug。FT。。。除了Firefox外，其他几个浏览器IE，Safari，好像都有这个问题。

查找解决办法

在网上找了一阵，还是无果而终。于是我自己观察了网站的访问日志，发现并不是所有的Firefox的访问记录Url Refferrer都是空的，有的确是正确的发送了信息的。我开始还怀疑是FF的版本问题，于是我去下载了FF的最新版本3.0.8，装上之后结果依然。看来不是版本的问题。我仔细想了一下，出现这样的情况无非有两个原因：第一，FF没有正确发送Refferrer到服务器；第二，FF正确发送了Refferrer，服务器的.NET程序没能正确截取该值。为了查看FF是否正确发送了Refferre，我用了一个网络抓包工具，把FF发送的数据抓回来分析了一番，惊奇的发现在FF发送的Header正确的发送了Refferrer。如下所示：

Accept-Charset: gb2312,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: http://www.baidu.com/s?wd=%C3%C0%C3%FB%CC%DA
Cookie: ....

这样一来，就彻底排除了FF没有正确发送的问题。难道是Server没能正确识别FF发送的Refferrer？我开始还是有点怀疑的，可是仔细一想，除了Refferrer没能正确处理以外，其他的Header都是正确的啊，.NET不会傻到这种程度的，所以我觉得还是客服端在发送数据的时候出了问题。这时候，我突然想到很多防火墙软件会扫描网络数据包。会不会是防火墙截断了FF发送的Refferrer呢？我机器上是OEM的诺顿防火墙，由于一直用诺顿，我对他还是有些好感的。为了验证我的想法，我暂时关闭了诺顿的Internet监控功能。重新试了一遍之前的访问操作，惊奇的发现这次我的访问记录里面正确提取了Refferrer。到这里，我大概就明白了，肯定是诺顿自动去掉了Header中的Refferrer信息！！这个时候，我重新测试了IE，Safari等浏览器，都能正确获取Refferrer值了。到此为止，这个问题算是找到答案了，诺顿去掉了我的浏览器发送的Header中的Refferer信息！！我的问题是解决了，不知道网上其他那些遇到同样问题的朋友是否也是防火墙的原因。希望我的经历对此有些帮助。