C++ 操作MinIO做文件数据的上传和下载(踩坑与经验)包含编译包

前言

最近在做项目流程优化,准备将之前的java对文件的操作转换到c++端,因此做了基于c++的minio操作的测试demo。期间的各种踩坑与问题,花了一天时间总算是成功了,当然还有一些小问题,等待后续其他大拿解决。

项目环境

vs2019个人版

minio操作的代码本来是计划自己下载源码编译的,但觉得它麻烦,就在csdn上下载了被人编译好的,s3 vs2019 debug(此处第一个坑),我自己刚开始的开发环境直接就是release版本,也是最近一直是release版本,所以配置完环境变量就没有注意,直接开始跑代码了,各种问题也没有仔细查,折腾了几个小时,才发现,这个坑我在最后给大家展示。
minio的编译好的链接是:链接: AWS S3 对象云存储_SDK msvc_x64下使用_vs2019编译 debug库。君子善假于物,可以直接用,就别自己琢磨了,造轮子的事情就留个其他人吧。

测试代码

需要准备的头文件和宏定义等(请严格按照此复制,不要轻易重新):

#define USE_IMPORT_EXPORT
#include"iostream"

#include "aws\s3\S3Client.h"
#include "aws\core\Aws.h"
#include "aws\core\auth\AWSCredentialsProvider.h"
#include <iostream>
#include <fstream>
using namespace Aws::S3;
using namespace Aws::S3::Model;
using namespace std;

#include "aws\s3\model\PutObjectRequest.h"
#include "aws\s3\model\GetObjectRequest.h" 
#include <aws/s3/model/ListObjectsRequest.h>

文件上传的代码:


bool uploadfile(std::string BucketName, std::string objectKey, std::string pathkey)
{
    Aws::SDKOptions m_options;
    S3Client* m_client = { NULL };

    Aws::InitAPI(m_options);
    Aws::Client::ClientConfiguration cfg;
    cfg.endpointOverride = "192.111.111.111:901";  // S3服务器地址和端口
    cfg.scheme = Aws::Http::Scheme::HTTP;
    cfg.verifySSL = false;
    Aws::Auth::AWSCredentials cred("2222", "23666");
    m_client = new S3Client(cred, cfg,
        Aws::Client::AWSAuthV4Signer::PayloadSigningPolicy::Always, false);
    PutObjectRequest putObjectRequest;
    //BucketName桶的名称,如cplus;objectKeyoss上文件的名称,如11.txt,此处要设置好文件的后缀类型,因此其是唯一的,不然不同文件不就重名了;pathkey,待上传的数据的本地路径,即文件本身
    putObjectRequest.WithBucket(BucketName.c_str()).WithKey(objectKey.c_str());
    auto input_data = Aws::MakeShared<Aws::FStream>("PutObjectInputStream",  pathkey.c_str(), std::ios_base::in | std::ios_base::binary);
    putObjectRequest.SetBody(input_data);
    auto putObjectResult = m_client->PutObject(putObjectRequest);
    if (putObjectResult.IsSuccess())
    {
        std::cout << "Done!" << std::endl;
        return true;
    }
    else
    {
        std::cout << "PutObject error: " <<
            putObjectResult.GetError().GetExceptionName() << " " <<
            putObjectResult.GetError().GetMessage() << std::endl;
        return false;
    }

    if (m_client != nullptr)
    {
        delete m_client;
        m_client = NULL;
    }
    Aws::ShutdownAPI(m_options);
}
 

文件下载的模块:


bool downloadfile1(std::string BucketName, std::string objectKey, std::string pathkey)
{
    Aws::SDKOptions m_options;
    S3Client* m_client = { NULL };

    Aws::InitAPI(m_options);
    Aws::Client::ClientConfiguration cfg;
    cfg.endpointOverride = "192.111.111.111:901";  // S3服务器地址和端口
    cfg.scheme = Aws::Http::Scheme::HTTP;
    cfg.verifySSL = false;

    Aws::Auth::AWSCredentials cred("123", "2222");
     
    m_client = new S3Client(cred, cfg,
        Aws::Client::AWSAuthV4Signer::PayloadSigningPolicy::Always, false);

    Aws::S3::Model::GetObjectRequest object_request;
    object_request.WithBucket(BucketName.c_str()).WithKey(objectKey.c_str());
    auto get_object_outcome = m_client->GetObject(object_request);
    if (get_object_outcome.IsSuccess())
    {
        Aws::OFStream local_file;
        local_file.open(pathkey.c_str(), std::ios::out | std::ios::binary);
        local_file << get_object_outcome.GetResult().GetBody().rdbuf();
        std::cout << "Done!" << std::endl;
        return true;
    }
    else
    {
        std::cout << "GetObject error: " <<
            get_object_outcome.GetError().GetExceptionName() << " " <<
            get_object_outcome.GetError().GetMessage() << std::endl;
        return false;
    }

    if (m_client != nullptr)
    {
        delete m_client;
        m_client = NULL;
    }
    Aws::ShutdownAPI(m_options);

    return true;
}

关键的调用方法:


int main()
{
    downloadfile1("cplus","logo.png", "C:\\Users\\OUR\\Desktop\\新建文件夹\\1.png"); 
    uploadfile("cplus","", "D:/11.txt"); 
} 

其中的关键点

(1)上传时

函数定义:bool uploadfile(std::string BucketName, std::string objectKey, std::string pathkey)
函数调用:uploadfile(“cplus”,“csdn.txt”, “D:/11.txt”);
参数说明分别是:

nameValue
BucketNameminio云端的桶的名称,如下截图的cpus、dicom等,此处类似于的是文件夹,注:桶需要提前设置好,在minio上新建就行
objectKey传到云端的文件的名称和后缀(此处需要唯一性),如logo.png、csdn.txt名称,注:key必须是带有后缀的,否则上传后不会自动设置文件的后缀
pathkey待上传的本地文件的路径;本地准备上传的路径和地址;注:本地文件存在即可

MinIO上“桶”列表
MinIO上“桶”列表 ↑
cplsu桶中的文件情况
cplsu桶中的文件情况↑
问题:下载数报错:

*Fatal error condition occurred in D:\SDK\aws-sdk-cpp\crt\aws-crt-cpp\crt\aws-c-io\source\event_loop.c:75: aws_thread_launch(&cleanup_thread, s_event_loop_destroy_async_thread_fn, el_group, &thread_options) == AWS_OP_SUCCESS
Exiting Application
at 0x7FFECBE41E6A: aws_byte_buf_append_null_terminator
at 0x7FFECBE41E6A: aws_byte_buf_append_null_terminator
at 0x7FFECBE41E6A: aws_byte_buf_append_null_terminator
at 0x7FFEBDAD1735: aws_retry_strategy_release
at 0x7FFECBE41E6A: aws_byte_buf_append_null_terminator
at 0x7FFEBDAD1735: aws_retry_strategy_release
at 0x7FFEBDAD1735: aws_retry_strategy_release
*

(2)下载时

std::string BucketName, std::string objectKey, std::string pathkey
“cplus”,“logo.png”, "C:\Users\OUR\Desktop\新建文件夹\1.png
分别是:

nameValue
BucketNameminio云端的桶的名称,如下截图的cpus、dicom等,此处类似于的是文件夹,注:桶需要提前设置好,在minio上新建就行
pathkeyMinio上的数据文件注:需要文件名和后缀
objectKey现在后文件的路径,如:C:\Users\OUR\Desktop\新建文件夹\1.png,注:不是设置下载文件接收的文件夹,而是文件,接收时需要自己设置文件后缀类型,否则无法下载

MinIO上“桶”列表
MinIO上“桶”列表 ↑
cplsu桶中的文件情况
cplsu桶中的文件情况↑
下载到的文件
下载到的文件↑
问题:下载数报错:
在这里插入图片描述

PutObject error: SDK failed to sign the request
Hello World!
Fatal error condition occurred in D:\SDK\aws-sdk-cpp\crt\aws-crt-cpp\crt\aws-c-io\source\event_loop.c:75: aws_thread_launch(&cleanup_thread, s_event_loop_destroy_async_thread_fn, el_group, &thread_options) == AWS_OP_SUCCESS
Exiting Application
at 0x7FFEE6CF1E6A: aws_byte_buf_append_null_terminator
at 0x7FFEE6CF1E6A: aws_byte_buf_append_null_terminator
at 0x7FFEE6CF1E6A: aws_byte_buf_append_null_terminator
at 0x7FFEC9AD1735: aws_retry_strategy_release
at 0x7FFEE6CF1E6A: aws_byte_buf_append_null_terminator
at 0x7FFEC9AD1735: aws_retry_strategy_release
at 0x7FFEC9AD1735: aws_retry_strategy_release

待后来人解决吧

结论

此代码可以实现对minio的文件上传与下载,是最简单的代码。使用的是vs2019、debug 、x64环境、时使用的是现成被人编译好的结果。

改进意见

(1)对minio的配置最好使用init()的方式进行统一配置,调用时在桶下建立自己的文件夹
(2)后续的报错还没有解决,计提原因未知,我就不查了
(3)现在只有debug,最终的生产环境一般都是release,所有孩子要去官网下载源码编译,才是成就之举。
(4)等我有时间了,项目有真正需求了,再专门写个帖子做minio的c++编译。

敬请期待哦!
参考资料:https://www.jianshu.com/p/74f13cd08cc7

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

rexinx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值