有时候我们需要把其他网站的链接爬取到自己网站,比如各种信息集成网站。
有些网站会有防盗链的措施,我们无法“引用”他人链接(这种情况暂时不考虑),如果网站没有防盗链措施,那就恭喜了!
但是,为了不让“被引用”网站管理者发现异常,我觉得还是把http中的referer给修改了,不让浏览器发送referer。
火狐浏览器设置方法很简单,在地址栏中输入“about:config”,会看到下面界面:
然后,在搜索框中输入“network.http.send”
把搜索到的第一项的值设为0,即可。