python requests请求失败_Python requests多线程抓取请求都报异常无解

主要代码如下:

import threading

import requests

def get_info():

try:

res = requests.get('http://www.xxx.com/test/json')

if res.status_code == 200 and res.text != '':

print res.text

else:

print res.status_code

time.sleep(10)

get_info()

except Exception as e:

print e

def start():

threads = []

for i in range(40):

threads.append(threading.Thread(target=get_info,args=()))

for t in threads:

time.sleep(0.3)

t.start()

for t in threads:

t.join()

if __name__ == '__main__':

start()

代码临时写,可能有小错误,大概就是这么个意思:

开启40个线程,间隔0.3秒请求。刚开始很正常,但是2轮过后几乎80% 90%的请求都报异常

HTTPConnectionPool(host='http://www.xxx.com/',port=80):Max retri

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值