七牛云批量下载和批量删除实际操作

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档


前言

七牛云是国内知名的云服务商,使用的人不少。但是在日常维护上,经常需要批量下载备份或批量删除。但空间面板里并没有提供方便易用的操作选项,日常维护相对麻烦一点。
因为业务转向,不再需要七牛云的产品服务,因此需要下载备份所有数据,同时清理空间。
以下是实际操作

提示:以下是本篇文章正文内容,下面案例可供参考

一、利用qshell工具,批量下载

这里需要使用官方提供的命令行工具qshell,无需安装,直接下载到备份目录备用。

1. 配置下载设置文件

与qshell配套的文件是“down.conf”,使用记事本或其他编辑器,填入自己的空间参数即可。
代码如下:

{
    "bucket"                 :   "空间名",
    "dest_dir"               :   "存入本地的路径目录",
    "save_path_handler"      :   "",
    "prefix"                 :   "",
    "suffixes"               :   "",
    "key_file"               :   "",
    "check_size"             :   true,
    "check_hash"             :   false,
    "domain"                 :   "七牛云空间上绑定的域名",
    "referer"                :   "",
    "public"                 :   true,
    "remove_temp_while_error":   false,
    "log_file"               :   "download.log",
    "log_level"              :   "info",
    "log_rotate"             :   10,
    "log_stdout"             :   false
}

2.批量下载备份

采用批处理文件“批量下载七牛云指定空间内所有文件.bat”来执行具体操作,需要使用记事本或其他编辑器,填入自己的空间参数。
代码如下:

 echo off
CHCP 65001
echo 利用ashell批量下载所有数据。
echo by zds 20240203

echo 查看qshell版本号
qshell -v
pause 

echo 登录账号
echo (AK) (SK) (七牛云登录用户名)中间记得留空格
qshell account (AK) (SK) (七牛云登录用户名)
pause

echo 开启10个线程的批量下载,下载设置在down.conf里,这个时间会很长。
echo下载记录在download.log里。
qshell qdownload -c 10 down.conf
pause
echo 下载结束,关闭本窗口。

以上文件配置好之后,双击“批量下载七牛云指定空间内所有文件.bat”,就可以开启自动下载备份工作,下载下来的文件都按原来的路径保存在你设置的当前目录下的“备份目录”里。由于数据量一般都比较大,这个下载时间可能会很长,需要耐心等待。
下载过程会产生流量出站费用,记住随时查看七牛云空间的预留费用,不能因欠费被冻结,导致下载中断而前功尽弃!!!

二、利用python实现批量删除操作(务必认真考虑清楚,再谨慎操作)

1.需要python3.10以上环境支持运行,还需要下载七牛云的支持库

用编辑器或记事本编辑“pldel.py”文件,填入空间参数。“pldel.py”代码如下(示例):

# by zds 20240204
from qiniu import Auth
from qiniu import BucketManager, build_batch_delete

access_key = '填入你的七牛云ak'
secret_key = '填入你的七牛云sk'
# 初始化Auth状态
q = Auth(access_key, secret_key)
# 初始化BucketManager
bucket = BucketManager(q)
bucket_name = '填入你想要删除的七牛云上的空间名'
# 前缀
prefix = None
# 列举条目
limit = 100
# 列举出除'/'的所有文件以及以'/'为分隔的所有前缀
delimiter = None
# 标记 批量删除文件
marker = None
while True:
    ret, eof, info = bucket.list(bucket_name, prefix, marker, limit, delimiter)
    if info:
        items = eval(info.text_body)['items']
        keys = [one['key'] for one in items]
        print(keys)
        ops = build_batch_delete(bucket_name, keys)
        ret2, info2 = bucket.batch(ops)
        print(info2)
    else:
        break

2.批量删除

“自动删除七牛云内容.bat”,代码如下:

echo off
CHCP 65001
echo 利用qshell批量下载或删除所有数据的工具
echo 本脚本需要python 3.10环境支持才能运行,还需要安装七牛云的专用库
echo by zds 20240203
echo 安装七牛云的专用库
pip install qiniu
pause
echo  按任意键开始批量删除七牛云文件,接下来就是漫漫等待之路
echo 调用python脚本(需要进去用记事本打开pldel.py,编辑必要的个人参数!!!)
python pldel.py
pause

配置好之后,双击运行“自动删除七牛云内容.bat”就可以开始批量删除了。中间记得进七牛云空间账号,进去删除绑定的域名和空间名,然后注销账户,避免产生连续费用。

总结

以上就是对七牛云数据的批量下载和批量删除的全部内容,希望能帮到一些新人。在csdn第一次写文章,经验不足,还不知道怎么上传文件包。可能写的不是很清楚,各位大佬多多包涵。
以上所有内容的工具包链接如下:
https://download.csdn.net/download/weixin_39291058/88809017

  • 13
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
首先,需要通过七牛云的API获取到要下载的文件列表。可以使用七牛云提供的`list`接口来获取文件列表,具体操作如下: 1. 登录七牛云控制台,进入对象存储空间管理页面。 2. 点击左侧导航栏中的“文件管理”菜单,进入文件管理页面。 3. 在文件管理页面中,点击右上角的“API接口”按钮,弹出API接口对话框。 4. 在API接口对话框中,选择“list”接口,并填写好相应的参数(比如要获取的文件前缀、起始时间、结束时间等)。 5. 点击“发送请求”按钮,获取到文件列表数据。 获取到文件列表后,就可以使用七牛云的SDK或API进行批量下载了。具体操作如下: 1. 在代码中引入七牛云SDK或API。 2. 遍历文件列表,依次下载文件。 3. 可以使用多线程或异步方式下载文件,提高下载效率。 4. 下载完成后,可以根据需要对文件进行处理或保存。 下面是一个示例代码,可以实现根据时间批量下载七牛云中的文件: ```python # 导入七牛云SDK from qiniu import Auth, BucketManager, build_batch_fetch_url # 七牛云AK、SK、空间名、域名等信息 access_key = 'your_access_key' secret_key = 'your_secret_key' bucket_name = 'your_bucket_name' domain = 'your_bucket_domain' # 初始化Auth和BucketManager q = Auth(access_key, secret_key) bucket = BucketManager(q) # 要下载文件的前缀、起始时间、结束时间等参数 prefix = 'your_prefix' start_time = 'your_start_time' end_time = 'your_end_time' # 获取文件列表 marker = None while True: ret, eof, info = bucket.list(bucket_name, prefix=prefix, marker=marker) if ret is None: break marker = ret.get('marker', None) items = ret.get('items', []) for item in items: # 判断文件是否在时间范围内 if start_time <= item['putTime'] <= end_time: # 构造文件下载URL url = '{}{}'.format(domain, item['key']) # 下载文件 # TODO: 根据需要进行下载处理或保存 ``` 以上代码仅供参考,实际使用时需要根据具体需求进行修改和优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值