爬虫遇到urllib.error.URLError: <urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。>

提示如下

Traceback (most recent call last):
  File "D:\py3.8\lib\urllib\request.py", line 1319, in do_open
    h.request(req.get_method(), req.selector, req.data, headers,
  File "D:\py3.8\lib\http\client.py", line 1230, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "D:\py3.8\lib\http\client.py", line 1276, in _send_request
    self.endheaders(body, encode_chunked=encode_chunked)
  File "D:\py3.8\lib\http\client.py", line 1225, in endheaders
    self._send_output(message_body, encode_chunked=encode_chunked)
  File "D:\py3.8\lib\http\client.py", line 1004, in _send_output
    self.send(msg)
  File "D:\py3.8\lib\http\client.py", line 944, in send
    self.connect()
  File "D:\py3.8\lib\http\client.py", line 915, in connect
    self.sock = self._create_connection(
  File "D:\py3.8\lib\socket.py", line 808, in create_connection
    raise err
  File "D:\py3.8\lib\socket.py", line 796, in create_connection
    sock.connect(sa)
TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "D:\eclipse\works\pytest\pytest\test\cytest.py", line 89, in <module>
    pcres=urllib.request.urlopen(url)
  File "D:\py3.8\lib\urllib\request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
  File "D:\py3.8\lib\urllib\request.py", line 525, in open
    response = self._open(req, data)
  File "D:\py3.8\lib\urllib\request.py", line 542, in _open
    result = self._call_chain(self.handle_open, protocol, protocol +
  File "D:\py3.8\lib\urllib\request.py", line 502, in _call_chain
    result = func(*args)
  File "D:\py3.8\lib\urllib\request.py", line 1348, in http_open
    return self.do_open(http.client.HTTPConnection, req)
  File "D:\py3.8\lib\urllib\request.py", line 1322, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。>

意味着当前的请求被终止

一种是响应请求太慢了导致的,一种是每次间隔请求时间太短了太频繁导致的

爬虫的说白了尽量接近人为模拟效果的,比如加上时间间隔,毕竟有时间跟没时间的去爬虫对服务器压力都不一样的对吧

基本解决方法time.sleep()来处理

新手学python就来py编程,不定期分享所学的源码,适合新手


 

评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

py编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值