HTTP的请求头标签 If-Modified-Since与Last-Modified

1.基本定义

Last-Modified 与If-Modified-Since 都是标准的HTTP请求头标签,用于记录页面的最后修改时间。

2.发送方向

Last-Modified 是由服务器发送给客户端的HTTP请求头标签

If-Modified-Since 则是由客户端发送给服务器的HTTP请求头标签

3.应用场景

(1)Last-Modified

在浏览器第一次请求某一个URL时,服务器端的返回状态会是200,内容是你请求的资源,同时有一个Last-Modified的属性标记此文件在服务期端最后被修改的时间,格式类似这样:

Last-Modified: Fri, 12 May 2006 18:53:33 GMT

后面跟的时间是服务器存储的文件修改时间

(2)If-Modified-Since

客户端第二次请求此URL时,根据 HTTP 协议的规定,浏览器会向服务器传送 If-Modified-Since 报头,询问该时间之后文件是否有被修改过:

If-Modified-Since: Fri, 12 May 2006 18:53:33 GMT

后面跟的时间是本地浏览器存储的文件修改时间

如果服务器端的资源没有变化,则时间一致,自动返回HTTP状态码304(Not Changed.)状态码,内容为空,客户端接到之后,就直接把本地缓存文件显示到浏览器中,这样就节省了传输数据量。

如果服务器端资源发生改变或者重启服务器时,时间不一致,就返回HTTP状态码200和新的文件内容,客户端接到之后,会丢弃旧文件,把新文件缓存起来,并显示到浏览器中。

以上操作可以保证不向客户端重复发出资源,也保证当服务器有变化时,客户端能够得到最新的资源。

  • 23
    点赞
  • 50
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
If-Modified-Since 是HTTP请求头中的一个字段,用于告诉服务器客户端上一次请求返回的响应的时间,让服务器判断是否需要重新返回资源。如果资源没有修改,服务器会返回一个状态码为 304 Not Modified 的响应,并且响应体为空。 如果你在爬取网站时遇到 If-Modified-Since,说明该网站支持 HTTP 缓存,可以考虑使用缓存来减少服务器的压力和提升爬虫效率。你可以在请求头中添加 If-Modified-Since 字段,并将值设置为上一次请求返回的响应的时间,以便服务器进行判断。如果服务器返回了 304 Not Modified 的响应,说明资源没有更新,可以直接使用缓存的数据,否则就需要重新爬取资源。 示例代码: ```python import requests import datetime url = 'http://example.com' last_modified = datetime.datetime.utcnow().strftime('%a, %d %b %Y %H:%M:%S GMT') headers = {'If-Modified-Since': last_modified} response = requests.get(url, headers=headers) if response.status_code == 200: # 处理响应数据 pass elif response.status_code == 304: # 使用缓存的数据 pass else: # 处理其他状态码 pass ``` 注意,如果服务器不支持 HTTP 缓存,或者资源更新非常频繁,使用 If-Modified-Since 可能会降低爬虫效率,因为每次请求都会进行一次网络通信,而且服务器仍然需要处理请求。在这种情况下,你可以考虑使用其他技术,如分布式爬虫、异步爬虫等来提升效率。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值