近日,在使用使用HttpWebRequest
的抓取一个页面的数据时,莫名返回的结果总是401,被禁止访问,而使用python的requests构造一摸一样的头文件却能够正常访问。
经调试,发现当执行Web_Request.GetResponse()
后,HttpWebRequest
内的referer被设置为null了。
referer的作用是用于标明访问此页面时,来源页面的地址是什么。而referer被置空,很有可能就是访问的地址发生了跳转。
因此再添加一条属性:
Web_Request.AllowAutoRedirect = false;
获取页面数据成功!