刚开始学习爬虫没有多久,在进行爬虫的浏览器伪装时对于其中的referer和host一直不是很明白
百度一下,别人给了如下的解释
Host头域
Host头域指定请求资源的Intenet主机和端口号,必须表示请求url的原始服务器或网关的位置。HTTP/1.1请求必须包含主机头域,否则系统会以400
状态码返回。
Referer头域
Referer 头域允许客户端指定请求uri的源资源地址,这可以允许服务器生成回退链表,可用来登陆、优化cache等。他也允许废除的或错误的连接由
于维护的目的被 追踪。如果请求的uri没有自己的uri地址,Referer不能被发送。如果指定的是部分uri地址,则此地址应该是一个相对地址。
对于这个解释,我个人的理解就是,referer就是像我们平时写的那样的url地址:http://www.baidu.com,但是对于host来说,只需要写出baidu.com
就行了