百度云盘API文件上传参数详解

某药检管理所管理员因为懒,远程3389设置了弱密码,然后被黑了,服务器卡的不行了才发现被黑,竟然有了奇操作,重新改了个密码就完事了,之后没过4天,整个服务器被勒索加密了,我去看的时候发现服务器内容已经无药可救了,原因是6月份的时候因为断电原因,导致内网NAS挂了,也没管, 好久之后换了两块硬盘,因为加密原因首先考虑的就是数据恢复,恢复的时候什么也没有了。

因为单位有规定,服务器要自动备份还需要人工备份,管理员不专业,备份文件也在服务器上,同样被加密了,再之后开始找其他手工备份文件,在一个移动硬盘发现一年前的备份,网上花了1000块钱修复了数据库,进行替换,最后开始项目恢复,流程重建补充,进行补录数据,前前后后用了20多天的时间,最后对比数据丢失了7条实在无法找回。因为程序流程有年底归档,文件归档后附件合并,由于没有原始数据和子附件,也没有办法补充归档附件。最后1个多TB的数据,恢复不到400G。

授予此次事件影响,决定搞个安全备份工具(就是内网+外网的双备份)。外网考虑过独立外网服务器,包括腾讯百度阿里 云服务器和云存储,机房托管服务器,然后按存储大小计算成本实在是高的有点受不了(因为平台系统装了很多个单位,计算的时候文件会超过PB级的),最后决定试试申请百度云API,竟然一下子就通过了,然后开始折腾,出现几个状况,在这里进行解释一下给有需要的人

备份原理如下

    1 监听扫描指定目录 发现新文件或修改文件进行上传

    2 上传前检查云盘是否存在同一MD5文件 

        如果存在 且 MD5不同 则移动云盘文件到历史记录的同名文件夹 再上传新文件

流程上来说不算难 但是百度API post传参有几个问题 也没找到可供交流和讨论的地方 只能自己解决了

首先云API说的是 文件上传分为三个阶段:预上传、分片上传、创建文件。只有完成这三步,才能将文件上传到网盘。

开始小文件上传测试没问题 一遍全过,但是大文件的时候就有问题了

第一 预上传就出现问题  按着API说明

1、rtype=0时,如果云端存在同名文件,此次调用会失败

2、云端文件重命名策略:假设云端文件为test.txt,新的名称为test(1).txt

3、content_md5和slice_md5都不为空时,接口会判断云端是否已存在相同文件,如果存在,返回的return_type=2

新文件上传返回return_type值就有问题的 , 不知道是因为没有说明白还是这是个BUG问题,看见的各位可以自己自行测试,因为这个问题我研究了差不多一天半,才发现重现这个问题的方式。

1.先上传一个从来没有上传过的文件到百度云盘,上传成功 这个时候 return_type返回1

2.重新上传一遍这个文件,因为已经上传过该文件,云盘也同样存在该文件 按说明则应该 return_type返回2 但是 return_type还是返回1 接着开始分片上传 这个时候又重新上传了一遍该文件 接着创建文件 返回的就是错误的 提示-8 代表文件已经存在了 

按百度云盘的API https://pan.baidu.com/union/document/upload#%E9%A2%84%E4%B8%8A%E4%BC%A0 说明 预上传这里应该直接返还return_type=2 因为错误的返回导致文件又重新上传一遍 小文件没事 大文件就是纯浪费时间 我现在是通过搜索文件请求参数进行判断进行处理的 目前只能这样多一次的API请求了)

3.重现API ,云盘上删除刚才上传的文件,在重新上传,这个时候正常了 return_type 返回2 ,网盘删除的文件又出现了,秒传就是这么实现的 ,这里因为把文件删除了导致API又正常了。

接下来是参数说明

预上传
接口说明

POST https://pan.baidu.com/rest/2.0/xpan/file?method=precreate
请求参数

参数名	类型	必需	描述
path	string	是	上传后使用的文件绝对路径
size	string	是	文件或目录的大小,单位B
isdir	string	是	是否目录,0 文件、1 目录
autoinit	int	是	固定值1
rtype	int	否	文件命名策略,默认0
0 为不重命名,返回冲突
1 为只要path冲突即重命名
2 为path冲突且block_list不同才重命名
3 为覆盖
uploadid	string	否	上传id
block_list	json array	是	文件各分片MD5的json串
content-md5	string	否	文件MD5
slice-md5	string	否	文件校验段的MD5,校验段对应文件前256KB
local_ctime	string	否	客户端创建时间, 默认为当前时间戳
local_mtime	string	否	客户端修改时间,默认为当前时间戳

content_md5和slice_md5都不为空时,接口会判断云端是否已存在相同文件,如果存在,返回的return_type=2

想要先判断文件存在与不存在 需要在预上传是添加 content_md5和slice_md5  此时如果文件存在才会返回 return_type=2

其中 content_md5 是文件本身的MD5值 这个是好取回的 也对比是正常的

slice_md5 是麻烦的,这个不能用网上搜索到的 slicemd5 方法实现 没有一个是正确的

正确读取slice_md5是 打开文件 按字节读取 0到254*1024个字节 然后直接md5加密 或 者保存为文件 在读取文件md5值 两种皆可以实现 想要确认slice_md5是不是对的  两种方法都实现 对比md5值一样就可以了

另外如果文件小于256kb 则按文件大小读取 其实就是文件本身的md5值

这样的文件 block_list、content-md5、slice-md5 是一样的 因为官网没有做出详细说明 这些都是我测试出来的 想判断自己提供的参数对不对只要用一个小于256kb的文件就能测试出来了

 

就到这里吧 下班了 剩下的几个问题留着下次等待下班时又不让自己看起来很闲的时候在写

其实百度云API还是很好的 超级会员一年300块钱还是很值的 用于自定义文件备份是超级划算的。

剩下的主要注意问题就是post请求 ,像get什么的基本是没有什么错误的

 

补充一下slice_md5 加密

/// <summary>
        /// 文件校验段的MD5,校验段对应文件前256KB
        /// </summary>
        /// <param name="fileName">文件绝对路径</param>
        /// <returns>MD5值</returns>
        public static string File_md5_Slice(string path)
        {
            Int32 bytes = 1024 * 256;
            try
            {
                FileStream fs = File.Open(path, FileMode.Open, FileAccess.Read);//读取文件
                Debug.WriteLine(fs.Length);
                if(fs.Length < bytes)
                {
                    fs.Close();
                    return File_md5(path);
                }
                byte[] buffer = new byte[bytes];
                fs.Read(buffer, 0, bytes);
                fs.Close();
                MD5 md5 = new MD5CryptoServiceProvider();
                byte[] retVal = md5.ComputeHash(buffer);
                StringBuilder sb = new StringBuilder();
                for (int i = 0; i < retVal.Length; i++)
                {
                    sb.Append(retVal[i].ToString("x2"));
                }
                string md5_val = sb.ToString();//BitConverter.ToString(output).Replace("-", "")
                //System.Diagnostics.Debug.WriteLine(md5_val);
                return md5_val;
            }
            catch (Exception ex)
            {
                throw new Exception("Get_File_Md5_Slice() fail,error:" + ex.Message);
            }
        }

 

 

  • 2
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 16
    评论
百度云盘提供了一系列的API来实现文件上传和下载功能。根据引用\[1\],在使用百度云盘API进行文件上传时,可以通过预上传接口来判断文件是否已经存在,以避免重复上传。预上传接口的返回类型应该是return_type=2。而根据引用\[3\],可以通过获取token来进行身份验证和授权,获取token的地址是https://openapi.baidu.com/oauth/2.0/authorize?response_type=token&client_id=L6g70tBRRIXLsY0Z3HwKqlRE&redirect_uri=oob&scope=netdisk。通过访问这个地址,可以从地址栏中获取到access_token。在上传文件时,可以使用curl命令来进行测试,具体的上传文件API地址是https://c.pcs.baidu.com/rest/2.0/pcs/file?method=upload&access_token=23.c55ce5b45ca4b4b478a34aacbf78fb70.2592000.1451091550.1829018343-238347&path=/apps/pcstest_oauth/test/data.gz。更多关于百度云盘文件上传下载API的信息可以参考引用\[2\]和引用\[3\]提供的文档链接。 #### 引用[.reference_title] - *1* [百度云盘API文件上传参数详解](https://blog.csdn.net/xutianruo/article/details/100161516)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [利用百度云盘API上传文件百度云盘](https://blog.csdn.net/admans/article/details/80653490)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 16
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值