网络爬虫在抓取页面超时时候应该怎么处理?

我们可以设置一个超时时间，在发起请求的这个时间超过这个设置时间后抛出异常，我们对其进行处理

我在这里简单写一个 demo：

from urllib import request 
from urllib import error
import socket
try:
  response = request.urlopen(url,timeout=0.01)
except error.URLError as e:
    if isinstance(e.reason,socket.timeout):
# 下面这里写自己的业务逻辑
        print('超时，执行下一个请求')