python监测网页变化_Python利用Last-Modified实现监控网页变化

工作需要实现监控一个网页的变化,一旦远程某个网页的代码或者内容更新了,马上发出提示。之前考虑过,抓取网页,保存网页,抓取-比对的方案,但是这样做不但访问的频率会受到限制,而且效率也很低。无法满足高效精准的要求。其实,根据浏览器的缓存原理,利用Last-Modified属性,可以做到高效且精准的监控。

Last-Modified属性技术原理:

在浏览器第一次请求某一个URL时,服务器端的返回状态会是200,内容是你请求的资源,同时有一个Last-Modified的属性标记此文件在服务期端最后被修改的时间,格式类似这样:

Last-Modified: Fri, 12 May 2006 18:53:33 GMT

客户端第二次请求此URL时,根据 HTTP 协议的规定,浏览器会向服务器传送 If-Modified-Since 报头,询问该时间之后文件是否有被修改过:

If-Modified-Since: Fri, 12 May 2006 18:53:33 GMT

如果服务器端的资源没有变化,则自动返回 HTTP 304 (Not Changed.)状态码,内容为空,这样就节省了传输数据量。当服务器端代码发生改变或者重启服务器时,则重新发出资源,返回和第一次请求时类似。从而保证不向客户端重复发出资源,也保证当服务器有变化时,客户端能够得到最新的资源。

利用此属性,基本可以实现监控网页变化,在两秒钟之内如果网页发生变化,出现提示,代码如下:

<
  • 3
    点赞
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
If-Modified-Since 是HTTP请求头中的一个字段,用于告诉服务器客户端上一次请求返回的响应的时间,让服务器判断是否需要重新返回资源。如果资源没有修改,服务器会返回一个状态码为 304 Not Modified 的响应,并且响应体为空。 如果你在爬取网站时遇到 If-Modified-Since,说明该网站支持 HTTP 缓存,可以考虑使用缓存来减少服务器的压力和提升爬虫效率。你可以在请求头中添加 If-Modified-Since 字段,并将值设置为上一次请求返回的响应的时间,以便服务器进行判断。如果服务器返回了 304 Not Modified 的响应,说明资源没有更新,可以直接使用缓存的数据,否则就需要重新爬取资源。 示例代码: ```python import requests import datetime url = 'http://example.com' last_modified = datetime.datetime.utcnow().strftime('%a, %d %b %Y %H:%M:%S GMT') headers = {'If-Modified-Since': last_modified} response = requests.get(url, headers=headers) if response.status_code == 200: # 处理响应数据 pass elif response.status_code == 304: # 使用缓存的数据 pass else: # 处理其他状态码 pass ``` 注意,如果服务器不支持 HTTP 缓存,或者资源更新非常频繁,使用 If-Modified-Since 可能会降低爬虫效率,因为每次请求都会进行一次网络通信,而且服务器仍然需要处理请求。在这种情况下,你可以考虑使用其他技术,如分布式爬虫、异步爬虫等来提升效率。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值