超大文件,通过流接口将文件按行分割后上传

将一个大文件通过流上传的接口,按行分割后进行上传
(这里用的文件是csv文件。其它文件的话,可以先转成csv文件;tqdm可以显示上传进度)
# 分段上传数据
@func_time
def upload_stream(stream_id, file):
    upload_url = baseURL + "/XXXXXX/{}/documents".format(stream_id)
    user_info = pd.read_csv(file, iterator=True, low_memory=False)
    count = 0
    for i in tqdm(range(100)):  # 设置循环次数
        try:
            user = user_info.get_chunk(1000)  # 设置每次上传的条数
            count += user.shape[0]
            data = user.to_json(orient="records", force_ascii=False)
            requests.post(upload_url, data.encode(encoding='utf-8'), headers=get_header(), verify=False).json()
        except StopIteration:
            break
    print("上传数据行数:", count)
    print("上传数据列数:", user.shape[1])
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

走走又停停,人生路上皆风景

不同的你我,不同的风景,祝幸福

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值