Python 频繁请求问题: [Errno 104] Connection reset by peer

Table of Contents

• 1. 记遇到的一个问题:[Errno 104] Connection reset by peer

记遇到的一个问题:[Errno 104] Connection reset by peer

今天工作上有个需求，数据库有个表有将近3万条url记录，每条记录都是一个图片，我需要请求他们拿到每个图片存到本地。一开始我是这么写的(伪代码):

import requests

for url in urls:
    try:
        r = requests.get(url).content
        save_image(r)
    except Exception, e:
        print str(e)

然而在服务器上运行时, 会发现每隔一些请求会报类似下面的错误:

HTTPConnectionPool(host='wx.qlogo.cn', port=80): Max retries exceeded with url: /mmopen/aTVWntpJLCAr2pichIUx8XMevb3SEbktTuLkxJLHWVTwGfkprKZ7rkEYDrKRr5icyDGIvU4iasoyRrqsffbe3UUQXT5EfMEbYKg/0 (Caused by <class 'sock