py的 grequests使用

这段代码使用grequests库进行批量POST请求,将数据发送到指定URL,并处理响应。每个请求包含一个json payload和特定的headers。如果响应状态码为200,数据会被解析并解码,然后存储在结果列表中。若出现错误,日志会记录相关信息。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

	import grequests
	
	batch_reqs = []
    batch_result = []
    for push_data in push_datas:
        datas = {'key': push_data['url'], "bucket": 0}
        batch_reqs.append(
            grequests.post(url=url,
                           json=datas,
                           headers=headers)
        )
    res_list = grequests.map(batch_reqs)  # 并行发送,等最后一个运行完后返回
    for i, res in enumerate(res_list):
        data = ""
        ret = -1
        try:
            if res and res.status_code == 200:
                ret = 0
                res.encoding = 'utf8'
                result = json.loads(res.text)
                if result.get('object') is not None:
                    data = unquote(result['object'])
        except (KeyError, ValueError) as e:
            ret = -1
            log.error("docid={}|cos_err|data={}".format(push_datas[i]["docid"], push_datas[i]))

        batch_result.append((ret, data))

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值