Python实现GCS bucket断点续传功能,分块上传文件

Python实现GCS bucket断点续传功能,分块上传文件 

环境:Python 3.6

我有一个关于使用断点续传到Google Cloud Storage的上传速度的问题。我已经编写了一个Python客户端,用于将大文件上传到GCS(它具有一些特殊功能,这就是为什么gsutil对我公司不适用的原因)。在大约2个月前运行的测试中,它很好地利用了可用的连接带宽,其中25Mbps连接中大约有20Mbps。该项目被冻结了将近2个月,现在,当重新打开该项目时,同一客户端以非常慢的速度上载,速度约为25Mbps的1.4Mbps。我已经编写了简单的Python脚本来检查它是否也会遇到相同的问题,并且速度稍快一些,但仍约为2Mbps。Gsutil工具的执行效果几乎与我的Python脚本相同。我还以超过50Mbps的上传速度在不同的网络基础架构上运行了该测试,效果非常好。

参考地址:Requests Utilities — google-resumable-media documentation

import google.auth
import google.auth.transport.requests as tr_requests
ro_scope = u'https://www.googleapis.com/auth/devstorage.read_only'
credentials, _ &#
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
要在Kaggle中引用文件夹中的Python文件,可以按照以下步骤进行操作: 1. 确保你的文件夹中包含需要引用的Python文件,并将它们上传到Kaggle的数据集中。你可以在Kaggle中创建一个新的数据集或将文件添加到现有数据集中。 2. 打开Kaggle的Notebook,并导入所需的Python库。 3. 在Notebook中创建一个新的代码单元格,并使用以下代码将数据集与笔记本连接起来: ```python from kaggle_datasets import KaggleDatasets # 设置数据集的路径 dataset_path = KaggleDatasets().get_gcs_path('your_dataset_name') ``` 在这里,要替换'your_dataset_name'为你的数据集名称。 4. 然后,你可以使用以下代码来访问文件夹中的Python文件: ```python import os import importlib.util # 设置需要引用的文件路径 module_path = os.path.join(dataset_path, 'your_folder', 'your_python_file.py') # 使用importlib.util来加载Python模块 spec = importlib.util.spec_from_file_location('your_python_file', module_path) module = importlib.util.module_from_spec(spec) spec.loader.exec_module(module) ``` 在这里,要替换'your_folder'为包含Python文件文件夹的名称,并替换'your_python_file'为你要引用的Python文件的名称。 现在,你可以使用这个`module`访问文件夹中的Python文件中的属性和函数了。 需要注意的是,Kaggle限制了对某些文件的访问权限,因此请确保你有权访问你要引用的文件夹和文件

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

青年夏日科技

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值