Python爬虫长时间出现SSL证书验证问题
今天做了一个爬虫程序,运行好好的,但是运行2个小时之后突然报错了,看了一下也不是IP原因,也不是代码逻辑问题。报错信息是
requests.exceptions.SSLError: ("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')],)",)
网上也搜到了一些结果我把它们整合记录了下来。
SSL:安全套接字层。是为了解决HTTP协议是明文,避免传输的数据被窃取,篡改,劫持等。
TSL:Transport Layer Security,传输层安全协议。TSL其实是SSL标准化后的产物,即SSL/TSL
HTTPS:HTTPS是兼容HTTP的,可以把HTTPS理解为'HTTP over TSL',即HTTPS是HTTP协议和TSL协议的组合。
下面回到正题。
我们遇到的问题就是,请求将验证HTTPS请求的SSL证书,就像Web浏览器一样。默认情况下,启用SSL验证,如果无法验证SSL证书,将会引发SSLError。
为了避免出现这个错误,我们可以让请求忽略SSL证书:
result = requests.get('https://