爬图片返回403的一种可能：headers中未指定 Referer

问题描述：爬取这张图片的时候，由于我没有设置referer，导致一直返回403。

http://bimgs.plmeizi.com/images/bing/2020/OHR.PRNLCavern_ZH-CN6078882650_1920x1080.jpg

Referer  是  HTTP  请求header 的一部分，当浏览器（或者模拟浏览器行为）向web 服务器发送请求的时候，头信息里有包含  Referer  。比如我在www.google.com 里有一个www.baidu.com 链接，那么点击这个www.baidu.com ，它的header 信息里就有：

Referer=http://www.google.com

由此可以看出来它就是表示一个来源。

Referer的作用？

1.防盗链。

我在www.google.com里有一个www.baidu.com链接，那么点击这个www.baidu.com，它的header信息里就有：

Referer=http://www.google.com

那么可以利用这个来防止盗链了，比如我只允许我自己的网站访问我自己的图片服务器，那我的域名是www.google.com，那么图片服务器每次取到Referer来判断一下是不是我自己的域名www.google.com，如果是就继续访问，不是就拦截。

将这个http请求发给服务器后，如果服务器要求必须是某个地址或者某几个地址才能访问，而你发送的referer不符合他的要求，就会拦截或者跳转到他要求的地址，然后再通过这个地址进行访问。

2.防止恶意请求。

比如静态请求是*.html结尾的，动态请求是*.shtml，那么由此可以这么用，所有的*.shtml请求，必须 Referer  为我自己的网站。

空Referer是怎么回事？什么情况下会出现Referer?

首先，我们对空 Referer  的定义为， Referer  头部的内容为空，或者，一个 HTTP  请求中根本不包含 Referer  头部。

那么什么时候 HTTP  请求会不包含 Referer  字段呢？根据Referer的定义，它的作用是指示一个请求是从哪里链接过来，那么当一个请求并不是由链接触发产生的，那么自然也就不需要指定这个请求的链接来源。

比如，直接在浏览器的地址栏中输入一个资源的URL地址，那么这种请求是不会包含 Referer  字段的，因为这是一个“凭空产生”的 HTTP  请求，并不是从一个地方链接过去的。

那么在防盗链设置中，允许空Referer和不允许空Referer有什么区别？

允许 Referer  为空，意味着你允许比如浏览器直接访问，就是空。比如CSDN的图片就可以轻松爬下来。